Home Sign Up Sign In
piedpipper
V2EX  ›  问与答

使用 Scrapy 爬取图片时，是直接使用 pipeline 下载好？还是保存 URL 用其它专门工具下载好？

  •   
  •   piedpipper · Sep 21, 2017 · 2764 views
    This topic created in 3330 days ago, the information mentioned may be changed or developed.

    如题，似乎 Scrapy 在下载时仍然是单线程的？如果用 aria2 等下载工具则可以是多线程的，所以速度能够更快一些？

  • Scrapy
  • 下载
  • pipeline
  • aria2
    2 replies  •  2017-09-21 22:03:18 +08:00
    954880786
    954880786
    Sep 21, 2017 via iPhone
    1
    你 scrapy 开多个线程每个都在下图片和用多个线程下一个图片一样的吧
    golmic
    golmic
    Sep 21, 2017 via Android
    2
    同意楼上
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4988 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:01 · PVG 15:01 · LAX 23:01 · JFK 02:01
    ♥ Do have faith in what you're doing.