为什么使用了代理 ip 依然被封？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3314 days ago, the information mentioned may be changed or developed.

目前在抓一个站，抓多会被封 ip，然后我用了代理 ip 去抓，每次请求都换一个 ip。但是依然被封了！报 429 这个错误，不知道原因是啥？

代理

请求

封

依然

30 replies • 2018-02-03 09:38:24 +08:00

yunkchen

Oct 10, 2017

代理 IP 确定是有效的么？

Soar360

Oct 10, 2017

Cookie ？

aragakiiyui

Oct 10, 2017

@yunkchen 确定有效哦，都是过滤好了的。

mrzys

Oct 10, 2017 via Android

cookie，还有代理是高匿的吗？

aragakiiyui

Oct 10, 2017

@Soar360 @mrzys 好像不是高匿的，cookie 要怎么处理？

won

Oct 10, 2017

现在黑名单规则通常用 IP+MAC 两管齐下

aragakiiyui

Oct 10, 2017

@won 那这个有什么办法处理吗？！

won

Oct 10, 2017

USB 网卡+代理 IP

LGA1150

Oct 10, 2017 via Android

@won 对方服务器只能看到它网关的 MAC 地址

15399905591

Oct 10, 2017

你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的

julyclyde

Oct 10, 2017

@won 为啥总有人连基本原理都不懂就理直气壮的啊

Soar360

Oct 10, 2017

Cookie 当然是每换一次 IP 清理一下咯。
高匿代理附上：
https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/highanonymous.aspx?from=v2ex

SoulGem

Oct 10, 2017

随机高匿+随机 UA
另外检查好 Request 是否正确，可能会有别的防爬处理

aragakiiyui

Oct 10, 2017

@Soar360 3q,下午把抓代理代码的重写了一下，加入了高匿和透明的分类，明天再试试看。

aragakiiyui

Oct 10, 2017

@SoulGem 这个站就是会限制访问次数，我换了高匿的 ip 还是被发现了原始 ip....

afeicool

Oct 10, 2017

@Soar360 我去，屌爆，怎么来的？

tbag781623489

Oct 10, 2017 via iPhone

@Soar360 刚需啊，thx

ji4ozhu

Oct 10, 2017

百度搜掘金网就是高匿的

mansur

Oct 10, 2017

你确定 ip 有效吗？你访问 http://ip.chinaz.com/ 看下放回的 ip 地址是代理的地址还是你服务器的地址

4BVL25L90W260T9U

Oct 10, 2017

@Soar360 请问 post 代理是什么意思, 支持 post 么, 还有不支持 post 的代理?

schema

Oct 11, 2017

@won 是这样吗，怪不得我用高匿爬豆瓣会被封，一直想不通

schema

Oct 11, 2017

@Soar360 给的链接后面加 ?from=v2ex 是为了做啥？

cat9life

Oct 11, 2017

@schema 为了统计站长肯定会好奇能带来多少访问量

hugedata

Oct 11, 2017

@Soar360 我擦，冰爷。。。

schema

Oct 11, 2017 via Android

@hugedata 这是哪位大神？为啥真的惊讶 (⊙o⊙)

Soar360

Oct 11, 2017

@ospider 嗯，有部分代理不支持 POST 的。

Soar360

Oct 11, 2017

@afeicool 扫描、爬取 ext。。

aragakiiyui

Oct 11, 2017

@Soar360 @15399905591 @mansur 我用的高匿代理，然后清了 cookie，这个站还是 429 挡我，并且把我原始的 ip 返回给我了....

yongpomat

Oct 11, 2017

有个软件专门干这个的，15 一个月，我搞批量注册用了好久了。非 vpn。ss。。

sw10

Feb 3, 2018

主要是两点：
1. 使用代理是高匿名的吗？这个可以通过 httpbin 查询到。
2. 对手网站是如何标识用户的？ cookie ？ token ？

#28 我用的高匿代理，然后清了 cookie，这个站还是 429 挡我，并且把我原始的 ip 返回给我了....
既然能知道你的原始 ip，那您使用的应该就不是高匿名代理。另外，也可能对方在其他处记录了您的原始 IP。

最后，我们提供代理 IP 服务，可以了解下。
/t/424630