推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
xiaoyanbot
V2EX  ›  Python

pyspider 和 scrapy 对比

  •  
  •   xiaoyanbot · Jun 29, 2017 · 8168 views
    This topic created in 3419 days ago, the information mentioned may be changed or developed.

    用过两者的朋友吗? 说说具体咋样

    要做选型

    10 replies  •  2017-09-25 14:32:39 +08:00
    ldbC5uTBj11yaeh5
    ldbC5uTBj11yaeh5
    Jun 29, 2017 via Android
    1
    现在还有用 pysipder 的吗?
    wolffn
    wolffn
    Jun 29, 2017
    2
    lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
    bytenoob
    bytenoob
    Jun 29, 2017 via Android
    3
    EricCartman
    EricCartman
    Jun 29, 2017 via Android
    4
    @wolffn 不大 Python 更方便吧
    golmic
    golmic
    Jun 29, 2017
    5
    感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
    zealinux
    zealinux
    Jun 29, 2017
    6
    @wolffn node 用什么库来爬?
    xrlin
    xrlin
    Jun 29, 2017
    7
    两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
    binux
    binux
    Jun 29, 2017❤️3
    8
    谢邀 :P
    pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。
    https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider
    https://www.quora.com/How-does-pyspider-compare-to-scrapy
    bfbd
    bfbd
    Jun 29, 2017❤️1
    9
    scrapy 好用,调度方面有 scrapyd。

    https://scrapyd.readthedocs.io/en/latest/
    ila
    ila
    Sep 25, 2017
    10
    @bfbd scrapyd 能否暂停和恢复任务?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   503 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 50ms · UTC 21:26 · PVG 05:26 · LAX 13:26 · JFK 16:26
    ♥ Do have faith in what you're doing.