用过两者的朋友吗? 说说具体咋样
要做选型
用过两者的朋友吗? 说说具体咋样
要做选型
|
ldbC5uTBj11yaeh5Jun 29, 2017 via Android
1
现在还有用 pysipder 的吗?
|
|
wolffnJun 29, 2017
2
lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
|
|
EricCartmanJun 29, 2017 via Android
4
@wolffn 不大 Python 更方便吧
|
|
golmicJun 29, 2017
5
感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
|
|
xrlinJun 29, 2017
7
两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
|
|
8
谢邀 :P
pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。 https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider https://www.quora.com/How-does-pyspider-compare-to-scrapy |
|
9
|