推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Northxw
V2EX  ›  Python

某多多爬虫

  •  
  •   Northxw · Apr 22, 2019 · 10282 views
    This topic created in 2752 days ago, the information mentioned may be changed or developed.

      某多多爬虫,anti_content 参数破解参考网上教程(因侵权问题,此处不公开链接),主要是通过是商品 API 完成商品信息的抓取,分析,存储,可视化等功能。

      Github: https://github.com/Northxw/Pinduoduo 欢迎提交 issue

    Supplement 1  ·  Apr 22, 2019
    注意:这里抓取的站点是拼多多移动端链接。
    16 replies  •  2024-02-06 12:33:11 +08:00
    yepinf
    yepinf
    Apr 22, 2019 via iPhone
    1
    请教下,pdd 除了参数加密,还有什么注意点
    有闲置服务器,想稳定爬它几个月看看
    showHand043
    showHand043
    Apr 22, 2019
    2
    没有反爬措施嘛.比如汽车之家,大众点评那种
    AnjingJingan
    AnjingJingan
    Apr 22, 2019
    3
    pdd.txt 不存在
    Northxw
    Northxw
    OP
    Apr 22, 2019
    4
    @AnjingJingan 跑一边程序就生成了,不可能把大文件放到 github 上啊。
    Northxw
    Northxw
    OP
    Apr 22, 2019
    5
    @yepinf 目前还未发现其他反爬措施,不过大规模抓取的时候建议上代理。你先试试。
    Northxw
    Northxw
    OP
    Apr 22, 2019
    6
    @showHand043 反爬措施就是参数加密啊(注意:注意看我的抓取链接),汽车之家和大众点评是网页字体反爬。
    AnjingJingan
    AnjingJingan
    Apr 22, 2019
    7
    @Northxw 跑程序报了这个错
    Northxw
    Northxw
    OP
    Apr 22, 2019
    8
    @AnjingJingan ???贴代码,我看看什么错误。
    Northxw
    Northxw
    OP
    Apr 22, 2019
    9
    @AnjingJingan 或者你加我 QQ:2443498314, 密保问题:佩奇(备注来意)
    luanguang
    luanguang
    Apr 22, 2019
    10
    原本想 star 的,看到这么多有趣的爬虫,还是 follow 吧。
    Northxw
    Northxw
    OP
    Apr 22, 2019
    11
    @luanguang 哈哈 都行的, 互相学习
    stcasshern
    stcasshern
    Apr 22, 2019
    12
    露珠下步计划是啥,感觉下步分析比较有趣
    Northxw
    Northxw
    OP
    Apr 22, 2019
    13
    @stcasshern ???哈哈,你想要什么
    ricky0603
    ricky0603
    May 21, 2020
    14
    楼主的账号问题是怎么解决的?我一个账号抓 300+条数据就被 ban
    funtanstic
    funtanstic
    Feb 5, 2024
    15
    大佬问题解决了么?账号很容易被 ban
    Northxw
    Northxw
    OP
    Feb 6, 2024
    16
    @funtanstic 兄弟,几年前的问题了,我现在已经不搞爬虫了,账号被 ban 就挂代理(真实代理,贵一点的,或者自己维护 ip 池)
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2983 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 11:54 · PVG 19:54 · LAX 03:54 · JFK 06:54
    ♥ Do have faith in what you're doing.