推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
kdwycz
54.12D
11.84D
V2EX  ›  Python

如何使用爬虫提取 QQ 说说?

  •  
  •   kdwycz ·
    kdwycz · May 13, 2015 · 7680 views
    This topic created in 4202 days ago, the information mentioned may be changed or developed.

    刚刚接触Python爬虫,只会最基础的知识。现在存在的问题:

    • 爬取QQ空间说说的话,我在源代码里面没发现说说内容,只有一些JS代码……不知道怎么解决
    • 而且应该还有登录QQ的问题(想爬取的空间设置只对好友开放)

    自己在网上搜了下,没有找到解决方案。求指点

    12 replies  •  2015-05-14 15:46:50 +08:00
    Septembers
    Septembers
    May 13, 2015❤️3
    1
    kchum
    kchum
    May 13, 2015 via iPhone❤️1
    2
    楼上是思路…
    对于有些 Cookies 是 Javascript 生成的,可以用Selenium 免解析 Javascript.
    MasterYoda
    MasterYoda
    May 13, 2015
    3
    楼上Selenium是思路。
    你也可以爬取页面后,试试phontomjs解析js。
    guoer
    guoer
    May 13, 2015❤️1
    4
    http://taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6
    这个地址直接返回说说数据的

    写过一个小脚本把所有说说给删了
    crab
    crab
    May 13, 2015
    5
    qq空间有个g_tk参数,这个跟下有接口的。
    Septembers
    Septembers
    May 13, 2015
    6
    @kchum @MasterYoda @guoer @crab
    see http://jeanphix.me/Ghost.py/
    不知道有用么?可以玩玩
    Lukin
    Lukin
    May 13, 2015 via iPhone
    7
    别想了,爬多了直接封你账号
    LeoQ
    LeoQ
    May 13, 2015
    8
    我想把我好友的说说全都点赞 以前看到过 https://github.com/atupal/3gqq , 不过后来好像没继续开发了
    imydou
    imydou
    May 14, 2015
    9
    wap版本
    yanwen
    yanwen
    May 14, 2015
    10
    @Septembers ls用的是什么软件??
    Septembers
    Septembers
    May 14, 2015 via Android❤️1
    11
    hugleecool
    hugleecool
    May 14, 2015
    12
    最简单的是爬wap版,3gqq。

    这是为了兼容使用老款手机的不开js的浏览器的用户而保留的页面。
    爬数据批量点赞什么的超级容易。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2137 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 07:41 · PVG 15:41 · LAX 23:41 · JFK 02:41
    ♥ Do have faith in what you're doing.