最近用一些网站上发布的免费代理 IP 来爬虫,但这些 IP 很多用了几分钟就失效了,变 bad proxy 了,有些甚至都不能用,程序经常因此中断。请问大家有没有稳定的代理 IP 推荐,就算淘宝上要钱也没事,最好能提供链接地址,谢谢。
|
daivMar 24, 2016 via iPhone
1
自己买 vps 搭建
|
|
hufumanMar 24, 2016
2
爬虫如果要用代理 IP 的话,显然是需要大量的,自己搭建很容易被封。
我们的做法是封装了个代理爬虫和下载模块,代理爬虫用来从各种地方抓代理,验证有效后放到数据库里。下载模块会从数据库里取代理 IP ,下载失败后再换 IP 。 |
|
debenMar 24, 2016
3
我 google 之后找到一家卖代理的, 虽然包月用户是可以无限量的获取代理 IP, 但是一旦需求量大一点儿, 就开始重复, 数量和质量远远达不到要求啊.
|
|
naomhanMar 24, 2016
4
最近自己的做法是批量去其他人那里爬免费代理,再自己写验证,相当于自己维护一个可用的代理池
|
|
wwngMar 24, 2016
5
淘宝动态 ip vps 你值得拥有
|
|
esxivistawrtMar 24, 2016
6
最好是挂 Tor 去爬
|
|
hanbingtelMar 25, 2016
7
我有 爬虫的代理池,不过因为怕滥用,所以有一定的限制,如果需要,可以联系我 QQ302000008
可测试,保证连接率! |
|
hadoopFeb 1, 2017
8
@hanbingtel 国内还是国外的? socks 还是 http 代理?
|
|
hanbingtelFeb 15, 2017
9
国外的,基本都是 http ,少量 sock5.
|
|
hanbingtelFeb 15, 2017
10
@hadoop 如果是临时使用,可以找我,免费帮你下!
|
|
dgivanApr 9, 2017
11
你可以用一些收费的代理
比如阿布云代理 站二爷代理 云代理,等等 |
|
niuohJul 27, 2017
12
ip-chi.net ip 池代理 用过很不错
|
|
wangfg12316Apr 7
13
数据采集、舆情监测、AI 训练必备神器🔥 站大爷隧道代理,多协议支持,全国节点全覆盖 https://www.zdaye.com/TunnelProxy.html
|