V2EX › cxh116 的所有回复 › 第 55 页 / 共 105 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 51 52 53 54 55 56 57 58 59 60 ... 105

❮

❯

2019 年 5 月 19 日

回复了 homeagain 创建的主题 › 问与答 › UDS：让你一秒拥有无限容量谷歌网盘

api 每天有调用限制，可用数太低了

2019 年 5 月 16 日

回复了 0clickjacking0 创建的主题 › 小米 › 关于小米 6 刷机的问题

在 fastboot 模式下，可以直接用 fastboot boot twp.img 命令启动 recovery

2019 年 5 月 10 日

回复了 oldIron 创建的主题 › 问与答 › 大家的股票基金还好吗？

也就是浮亏 30%，装死

2019 年 5 月 9 日

回复了 anypwx 创建的主题 › 职场话题 › 昨天下午被 hr 约谈

离职不能领失业保险，辞退可以

2019 年 5 月 6 日

回复了 caneman 创建的主题 › Python › Scrapy 效率瓶颈

@caneman 你得确认瓶颈在什么地方?
假如网页通过代理访问,60 秒才返回一个页面.这样就算你 1000 个并发. 1000 / 60 = 16.6 .这样算每秒最多也就是 16 个而已.

假如网页解析比较费时,这个问题就更加不好解决.因为毕竟这种类似于阻塞的调用.

你可以登录 telnet 用 est() 查看一下状态,分析一下原因 https://docs.scrapy.org/en/latest/topics/telnetconsole.html
可以看一下 engine.scraper.slot.queue 的实现,这里应该可以取到你要的队列大小值.

你还可以尝试用你自己的 redis 这种方案,启用多个进程,看看有没有提升.

2019 年 5 月 6 日

回复了 caneman 创建的主题 › Python › Scrapy 效率瓶颈

数据是怎么保存的? 用的是同步还是异步调用.在 pipline 用同步阻塞方式去保存数据的话,会阻塞整个抓取调度的.

https://leehodgkinson.com/blog/scrapy-pipelines/

2019 年 4 月 16 日

回复了 mitraillette 创建的主题 › 职场话题 › 被产品经理阴了一吧,咋办

这功能需求文档上面没有写.
这功能任务描述里面没有写.

口口相传的话,就是他没说.

2019 年 4 月 11 日

回复了 xcaptain 创建的主题 › Linux › Linux 快速备份系统

我直接用 cp -a 命令，新硬盘分好区，挂载，每个分区执行 cp 拷文件，改 fstab，改引导。1 小时就从 128g 的 ssd 换成 256g 的 ssd，顺便还完美的扩展分区的大小。

2019 年 4 月 9 日

回复了 wesall100200 创建的主题 › 程序员 › 萌新求问， Golang 和 C++我应该选择哪一个作为备用语言？

C/C++ .太多的基础库是用它们来写的. 比如数据库驱动,Java Python PHP 语言的实现.

不要求熟练,至少要能看懂.

2019 年 4 月 9 日

回复了 imherer 创建的主题 › 程序员 › 用户 ID 应该如何设计？

@imherer 引用文档 " If you need your ids to consist of only numbers, check out Optimus. It's based on Knuth's integer hash method and produces obfuscated integer ids (and does it faster too). There are PHP and Go implementations. "

2019 年 4 月 9 日

回复了 imherer 创建的主题 › 程序员 › 用户 ID 应该如何设计？

https://hashids.org/

2019 年 4 月 8 日

回复了 baojiwei 创建的主题 › Go 编程语言 › go 是个好语言

Go 语言的优点，缺点和令人厌恶的设计 https://studygolang.com/articles/12907

2019 年 4 月 4 日

回复了 mk52 创建的主题 › 全球工单系统 › 希望通过 V2EX 的工单系统解决与 weixin_crawler 作者的纠纷

@shiny 用了一年，没有被封。反正是新注册的小号，无所谓。

2019 年 4 月 3 日

回复了 mk52 创建的主题 › 全球工单系统 › 希望通过 V2EX 的工单系统解决与 weixin_crawler 作者的纠纷

@alexsunxl 也是用 "登陆后台调用搜索接口" 这种方式,多搞些公众号来抓,这样不容易被封. 麻烦点就是手机自动扫描登录,目前是用 android 机的自写的 xposed 模块实现的.

1 ... 51 52 53 54 55 56 57 58 59 60 ... 105

❮

❯