网上查的，貌似代码都是 18 年的了，都说用抓包工具先找到一个 json 文件，里面有商品的信息，但是我用抓包工具看了，没有找到这样的网址。 页面上显示出来的商品价格，详情之类的数据，好像都是用 ajax 加载出来的。
各位大佬们，给点思路或方向。谢谢。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2628 days ago, the information mentioned may be changed or developed.
 |
lhx2008Aug 24, 2019
1
建议你直接放弃就好了，或者花钱找人帮你搞。
|
 |
skyeycirnoAug 24, 2019
3
你可以放弃了，淘宝，阿里巴巴，京东这类的反爬都做到极致了，没你想的那么简单就能爬下来的
|
 |
4
@skyeycirno 谢谢。
|
 |
alaikisAug 24, 2019
5
直接解决 JS，里面直接 JSON 就可以，最好的方法是采购手机版，手机版反爬没那么严重，另外，可以申请采购接品，直接拉取也可以。
|
|
alaikisAug 24, 2019
6
你把 www 改成 m 就是详情页的手机版，分页的话，只采购地址是比较简单的
|
 |
sherlockwhitebbAug 24, 2019
7
直接上 selenium 吧
|
|
sherlockwhitebbAug 24, 2019
8
预算多少
|
 |
yaoye555Aug 24, 2019
10
已突破 1688 任何维度不登录情况下的异步请求现已应用于公司大范围产品线, 有意可咨询
|
|
alaikisAug 24, 2019
11
不需要接口呀，就在 JS 里面，直接正则解析一下就好，我们原来 1688 上亿的采集都是这样操作的，直接 selenium 加谷歌浏览器就 OK 了
|
|
alaikisAug 24, 2019
12
记得加一下代理 IP，一家换两三个就可以了，就是不知道你们的采集量
|
 |
LZSZAug 24, 2019
13
正常浏览都经常出验证。
|
 |
yangqingerMar 16, 2020
15
@alaikis 你们现在还是这样操作的吗？详情页现在好像要求登录的。
|
Select Language