推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
chendajun
V2EX  ›  Python

用 weixin.sogou.com 抓取微信公众号的文章,已经加了代理,还是很快就封掉。请问有好的办法吗?

  •  
  •   chendajun · Nov 25, 2016 · 4785 views
    This topic created in 3642 days ago, the information mentioned may be changed or developed.
    9 replies  •  2016-12-01 15:13:49 +08:00
    Biny
    Biny
    Nov 25, 2016
    1
    代理池大一点,采集的程序分布在多台机器上面跑,采集的频率降低,慢慢采
    iannil
    iannil
    Nov 25, 2016
    2
    搜狗抓公众号信息,文章去微信抓。我抓过上亿条,没有问题的。
    chendajun
    chendajun
    OP
    Nov 25, 2016
    3
    @iannil “搜狗抓公众号信息”指的是在搜狗上抓公众号的功能介绍,微信认证这些信息吗? “文章去微信抓”具体能说说怎么抓吗?谢了!
    stone1342006
    stone1342006
    Nov 25, 2016
    4
    同在搜狗抓微信公众号文章, 加代理没有被封 。 可能如同 @Biny 说的,代理的 ip 多一点就没可以了
    chendajun
    chendajun
    OP
    Nov 25, 2016
    5
    @Biny
    @stone1342006
    代理不稳定啊,付费的也是经常掉。
    zhaoyue199508
    zhaoyue199508
    Nov 25, 2016
    6
    @chendajun 花点钱上动态 vps
    Biny
    Biny
    Nov 25, 2016
    7
    @chendajun 可以购买国外的 vps ,一般最少都带有 2 个以上的 IP ,一般 512m 内存的 VPS 国外的也就 30-40 块人民币
    tkisme
    tkisme
    Nov 26, 2016
    8
    偷偷说一句,用电话拨号上网 ip 是不断变化的,那就意味着。。。
    yanzixuan
    yanzixuan
    Dec 1, 2016
    9
    @iannil 弱问如何在微信里抓。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4569 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 07:38 · PVG 15:38 · LAX 23:38 · JFK 02:38
    ♥ Do have faith in what you're doing.