推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
slysly759
V2EX  ›  Python

爬取微信公众号所有文章的请教

  •  
  •   slysly759 · Sep 4, 2016 · 12155 views
    This topic created in 3712 days ago, the information mentioned may be changed or developed.

    废话还是少说直接上代码:

    __biz=MzA3ODA5NjgyOA uin=MjM3ODE4ODcxMg key=7b81aac53bd2393d5e902e058ff64404320d0d6b983fca250613052da952e7f6dde8016098f3981acafbc9303e06c824a5b57c6263a326a2 f=json frommsgid=1000000024 count=10 uin=MjM3ODE4ODcxMg== key=7b81aac53bd2393d5e902e058ff64404320d0d6b983fca250613052da952e7f6dde8016098f3981acafbc9303e06c824a5b57c6263a326a2 pass_ticket=0BQ58qDwcrLcbBzA76wFjC%252F5aaJ1U%252BivLJww1CdAEfAyXVrtTqQ3mQcR7RpbTT2R wxtoken= x5=0 HTTP/1.1

    目前发现的规律如下:

    1. 不同公众号的_biz 不一样
    2. uin 是 user_ID 固定不变
    3. key 值前 16 位不变,算法规律没找到:和公众号无关,但是和时效有关,一个 key 只能有效十几分钟的样子
    4. pass_ticket 目前不变
    5. 后面几位一样

    目前的核心是找到 key 的生成算法,或者是获取实时跟新的 key 其次是快速找到_biz 每个公众号对应的商业 ID

    现在想问的是:大家对于这个 key 生成算法有过了解喵 或者可以实时获取的解决方案也行,其次就是如何快速获取商业 ID

    关于这个 key 自己的一点思考, key 有 112 位,发现和 16 32 64 常见加密算法是位数类似的,我发现 key 前十六位是不变的,那么就是找剩下的 96 位的规律。一个 key 可以获取不同公众号的文章列表,当十几分钟过后这个 key 就会发生改变,此时如果访问,则报错返回 no seesion 我思考这剩下的 96 位和 session 有关,而 session 我在抓包的时候发现有一个 sessionID 看了一下 一共是 64 位 还有剩下的 32 位 我怀疑他有一个时间戳 md5 加密 成 32 位拼凑起来。私以为服务器可能是如果用户登录则生成一个 session ID 如果 xx 时间没有接受请求,则更改时间戳,或者每隔 20 分钟(假如说蛤)跟新 session ID 并发送给客户端跟新其 cookie 并同时更新其时间戳 如果 session ID 和数据库中的不匹配则返回 no session 报错信息 如果获取到的加密时间戳和系统当前时间戳相差 20 分钟以上则报错(这个错误我没有试),期待大家能够指正.

    any advice will be appreciated, thx in advice.

    Supplement 1  ·  Sep 6, 2016
    呵呵 还没发两天就被微信的人看见了 你们修复的可真快,另外,对于要爬搜狗的 答一些有的没的都没有 我自己已经探索出来了 果然有商业价值的东西是不能分享的。。。
    24 replies  •  2016-10-17 21:23:52 +08:00
    phoneli
    phoneli
    Sep 4, 2016
    1
    我比较好奇的是。楼主怎么获取那个 url 后面的参数的?我一直学不会。。。
    xiamx
    xiamx
    Sep 4, 2016
    2
    如果 key 是服务端生成的话,就比较难了
    douglas1997
    douglas1997
    Sep 4, 2016 via iPhone
    3
    mark.
    slysly759
    slysly759
    OP
    Sep 4, 2016
    4
    @phoneli 利用了一点 MIMT 的知识 你懂得~
    Moker
    Moker
    Sep 4, 2016
    5
    直接爬搜狗
    qiayue
    qiayue
    Sep 4, 2016
    6
    @phoneli 公众号点开一篇文章,选择复制链接
    azh7138m
    azh7138m
    Sep 4, 2016
    7
    不如去搜狗爬?
    Yinz
    Yinz
    Sep 4, 2016
    8
    *MITM ?
    ykwlv
    ykwlv
    Sep 4, 2016
    9
    @phoneli 直接微信 Mac 客户端什么的。。。就可以直接在浏览器里面打开公众号的文章
    oseau
    oseau
    Sep 4, 2016
    10
    advice => advance
    slysly759
    slysly759
    OP
    Sep 4, 2016
    11
    @oseau 不好意思最近发烧烧糊涂了 不过已经改不了了
    gpg
    gpg
    Sep 4, 2016
    12
    爬搜狗最靠谱
    jccg90
    jccg90
    Sep 5, 2016
    13
    没见过特别好的办法,不要求效率的话,开个模拟器用脚本模拟点每个文章,然后抓包。。。
    wobuhuicode
    wobuhuicode
    Sep 5, 2016
    14
    同爬搜狗
    toomwan
    toomwan
    Sep 6, 2016
    15
    两个小时抓取不少呢
    ql9075
    ql9075
    Sep 8, 2016
    16
    @wobuhuicode 爬搜狗出来的链接,有时间限制,过期了就打不开
    gamecreating
    gamecreating
    Oct 8, 2016 via iPhone
    17
    楼主找到 key 的生成算法了吗 求教
    beader
    beader
    Oct 11, 2016
    18
    其实 key 的自动获取是整个环节中最容易的
    gamecreating
    gamecreating
    Oct 13, 2016
    19
    @beader 需要通过 uid 来算出 key
    slysly759
    slysly759
    OP
    Oct 14, 2016 via Android
    20
    @gamecreating 真的喵| ू•ૅω•́)ᵎᵎᵎ 我去试一试
    dersu
    dersu
    Oct 17, 2016
    21
    @gamecreating uid?不能吧,我觉得新的 key 算法应该是加上 biz , timestamp 的一个签名。腾讯改算法前,我这边的采集程序稳定运行半年多了, 9 月瘫了后,到现在都没找出稳定的能大批量抓取的办法,老板都快骂死了,如果能知道 key 的算法就太好了
    gamecreating
    gamecreating
    Oct 17, 2016
    22
    @dersu 厉害,,你们是公司运作么? PM 个地址观摩一下... 我倒是找到方法取了 正在写代码验证.
    dersu
    dersu
    Oct 17, 2016
    23
    @gamecreating v2 上可以不能 PM 吧,至少以前不行,现在可以了?我们是公司,但这个也不是什么主要业务,就是一些创业公司和营销公司的数据是我们提供的,包括公众账户。观摩么。。公司的展示页面上比较简单,可能看不出什么,你邮件我吧,我给你看看 tei2ds#gmail ,探讨探讨
    slysly759
    slysly759
    OP
    Oct 17, 2016 via Android
    24
    @dersu ⊙▽⊙
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5030 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 70ms · UTC 08:55 · PVG 16:55 · LAX 00:55 · JFK 03:55
    ♥ Do have faith in what you're doing.