写了个简单的爬虫，想抓下一家淘宝店正在出售的宝贝（/search.htm?spm=a1z10.1.0.0.N8xbI3&search=y&orderType=hotsell_desc）。请求频率7秒抓一次，但发现抓了几次之后就要求登陆，跳转到登陆页面。请问有类似经验的同学吗
This topic created in 4590 days ago, the information mentioned may be changed or developed.
 |
manhereApr 12, 2014 via Android
1
淘宝api
|
 |
leofmlApr 12, 2014
2
检查 Referer, UA 和 Cookies
|
 |
jsonlineApr 12, 2014 via Android
3
用phantom吧
|
 |
andrewrongApr 12, 2014
5
公司之前是使用淘宝API的，但是后来淘宝封了，现在的话是自己写爬虫爬，但是为了防止淘宝识别就通过代理（VPN）进行爬，这样就可以防止淘宝探测到...你的现象比较像被淘宝检测出然后进行限制了..当然是我的猜测...不是很懂
|
 |
6
|
1 |
bladecamperApr 12, 2014
7
API现在基本等于封闭状态。
用火车头采集器吧。 |
 |
ryan10107Apr 12, 2014
8
可以AD拨号吧，搞多点cookie和header的模拟，现在淘宝封店铺商品列表封得很厉害，做爬虫还是看IP的
|
 |
9
@andrewrong 是指通过VPN轮训IP吗
|
Select Language