爬京东的商品列表老被跳转到首页，咋整

This topic created in 4313 days ago, the information mentioned may be changed or developed.

公司要爬京东的一类商品列表。
爬了10多条，就被jd跳转到首页了。

各位爬网人士，你们都是怎么绕过去的

6 replies • 2014-10-18 11:49:43 +08:00

herozzm

Oct 17, 2014

频率太高了，京东有防护，适当降低频率看看

tcsky

Oct 18, 2014

请求太快了, 以前刷东西时也遇到过, 速度放慢, 加代理, 走不同cdn节点.

zooooom

Oct 18, 2014

大公司都会有防爬机制

zts1993

Oct 18, 2014 via Android

遇到验证码了吧，。。。。。。。
伪造ip试试

xinyidao

Oct 18, 2014

@zts1993 ip怎么伪造啊？

xinyidao

Oct 18, 2014

@tcsky cdn节点也可以选？