Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
saximi
V2EX  ›  Python

关于用 Scrapy 开发爬虫时使用代理 IP 的问题

  •   
  •   saximi · Oct 24, 2017 · 8523 views
    This topic created in 3301 days ago, the information mentioned may be changed or developed.
    用 Scrapy 开发爬虫时想使用多个代理服务器的 IP 来隐藏真实 IP，请教大家几个问题：
    1、哪里可以找多个可用的代理 IP，以及如何判断 IP 是否可用，多个可用的 IP 间如何择优排序？
    2、 有没有基于 SCRAPY 框架，使用代理 IP 来实现爬虫的范例可供学习呢？

    感谢！
  • Scrapy
  • 代理
  • 可用
  • 范例
    16 replies  •  2017-10-26 10:20:18 +08:00
    seven2016
    seven2016
    Oct 24, 2017
    1
    [看下这个]( https://github.com/shisiying/tc_zufang)
    fiht
    fiht
    Oct 24, 2017
    2
    1. 代理 IP 直接购买就好，五块钱的代理够你爬很多很多很多数据了。判断 IP 是否可用，择优排序，应该属于另外一个系统做的事情。另外一个系统负责对代理池中的 IP 进行存活检测和速度测试打分。你去 gayhub 搜一下代理 IP 有现成的轮子。
    2. 请 Google 之。
    mon3
    mon3
    Oct 24, 2017
    3
    https://github.com/qiyeboy/IPProxyPool 这是你需要的
    hcnhcn012
    hcnhcn012
    Oct 24, 2017 via iPhone
    4
    Scrapoxy，这是官方推荐的框架
    saximi
    saximi
    OP
    Oct 24, 2017
    5
    @mon3
    @seven2016
    @fiht 感谢指点，因为是初学，所以暂时不准备直接购买代理，准备先学习例子做一个练练手。
    saximi
    saximi
    OP
    Oct 24, 2017
    6
    @hcnhcn012 谢谢，不知有没有关于这个框架的中文资料推荐？另外这个框架和 Scrapy 不可以同时使用吧？
    hcnhcn012
    hcnhcn012
    Oct 25, 2017 via iPhone
    7
    @saximi 当然可以同时用啊，这个只是一个 js 写的代理，和 scrapy 没有关系的，但是和爬虫一起用就可以达到换 ip 或者是 user-agent 等等的目的了
    官方防 ban 建议里提到了
    https://docs.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned
    http://scrapoxy.io/
    sunwei0325
    sunwei0325
    Oct 25, 2017
    8
    crawlera, 国内也有阿布云之类的每次请求都换一个 ip, 自己爬的免费代理有效性很差, 也可以自己搭几个拨号服务器充当代理, 自己控制拨号手动换 ip
    ZiLong
    ZiLong
    Oct 25, 2017
    10
    @sunwei0325 老哥，拨号服务器这个怎么搭，有推荐教材么
    saximi
    saximi
    OP
    Oct 25, 2017
    12
    @hcnhcn012 谢谢，我找了下，没看到有 scrapoxy 的中文教材呢?
    hcnhcn012
    hcnhcn012
    Oct 25, 2017 via iPhone
    13
    @saximi 是的
    saximi
    saximi
    OP
    Oct 25, 2017
    14
    @hcnhcn012 有已经实现的例子可以供参考么
    hcnhcn012
    hcnhcn012
    Oct 25, 2017 via iPhone
    15
    @saximi 没。。网上找找应该有的吧
    ZiLong
    ZiLong
    Oct 26, 2017
    16
    @sunwei0325 感谢，老哥稳！
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1681 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 02:49 · PVG 10:49 · LAX 18:49 · JFK 21:49
    ♥ Do have faith in what you're doing.