推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
iewgnaw
V2EX  ›  Python

昨夜刚撸完一个微信公众号爬虫的网站,欢迎提出意见

  •  3
     
  •   iewgnaw · Jan 22, 2015 · 38696 views
    This topic created in 4308 days ago, the information mentioned may be changed or developed.

    http://weiread.pw/

    每天定时抓取公众号文章,提供订阅阅读,另外还可以生成kindle杂志定时推送。

    css和js现学现用的,写的比较渣;欢迎提出使用意见

    Supplement 1  ·  Jan 22, 2015
    抱歉,才发现微博登录还要提交审核,否则除了自己的账号其他的无法登录。
    我晚上回去再提交审核一下吧
    85 replies  •  2017-12-12 15:58:43 +08:00
    tjxiter
    tjxiter
    Jan 22, 2015
    1
    做个网站,一个月多少钱啊?
    yanwen
    yanwen
    Jan 22, 2015
    2
    不错。。赞一个。。
    typcn
    typcn
    Jan 22, 2015
    3
    Error code: DNS_PROBE_FINISHED_NXDOMAIN
    lzxgh621
    lzxgh621
    Jan 22, 2015
    4
    图片全挂,要不缓存一下,成本太高。。。
    crabhit
    crabhit
    Jan 22, 2015
    5
    这数据是怎么爬下来的
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    6
    @tjxiter 什么一个月多少钱?
    likid
    likid
    Jan 22, 2015❤️1
    7
    点击订阅没反映。

    另,搜索可以用 搜狗的微信搜索。
    其实可以不用放自己服务器上,只需要做一个简单的转换,把搜狗搜索的内容扒过来即可。也不需要定时抓取。
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    8
    @typcn 可能是pw后缀的域名 有的地方不能解析吧,当时没考虑这个问题
    Hiufan
    Hiufan
    Jan 22, 2015
    9
    用python写的?
    likid
    likid
    Jan 22, 2015❤️2
    10
    给我接口,帮你鲁一个 iOS 的 App
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    11
    @likid 登录之后才能订阅的。点击订阅不是跳转到登录界面?
    内容是根据搜狗抓取来的,不爬图片服务器压力也不大的
    xmy2232867
    xmy2232867
    Jan 22, 2015
    12
    搞个这个要用到哪些技术啊?
    xianglong1025
    xianglong1025
    Jan 22, 2015
    13
    请问楼主,数据是怎么抓取的?
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    14
    @lzxgh621 你那边看不到图片?部分放qiniu上的,其他都是外链微信的
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    15
    @Hiufan 是的,django框架
    dddd
    dddd
    Jan 22, 2015
    16
    以前看到过一个传送门……
    http://chuansong.me/

    …………
    likid
    likid
    Jan 22, 2015
    17
    @iewgnaw 没有跳到登录界面。
    likid
    likid
    Jan 22, 2015
    18
    @iewgnaw 刚才试了一下,又可以了
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    19
    @dddd 是的,开始我也是用传送门的;我一开始的目的是为了抓取推送到kindle的,后来还是顺带用django写了阅读功能
    jaytags
    jaytags
    Jan 22, 2015
    20
    @iewgnaw
    lz速度还不错哦。 主机哪里买的呢?
    qiniu 的存储怎么变成这样的clouddn.com域名呢?
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    21
    @xmy2232867
    django 框架, python主要用request bs4 gevent


    @wuxianglong
    搜狗有微信搜索功能,可以抓取url, 再抓取内容
    lizhijun
    lizhijun
    Jan 22, 2015
    22
    lz可以看看这个 界面好看多了

    http://wx.91toutiao.com/
    veau
    veau
    Jan 22, 2015
    23
    @iewgnaw ,sogou的微信搜索,抓取频率高了不是会被干么。
    kiritoalex
    kiritoalex
    Jan 22, 2015❤️1
    24
    不错,做得挺赞的!
    unixbeta
    unixbeta
    Jan 22, 2015 via Android
    26
    来源吧
    linsk
    linsk
    Jan 22, 2015
    27
    @jaytags leancloud
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    28
    @jaytags 两个办瓦工的vps, 凑合还可以用
    我用qiniu 默认给的域名,好像是可以自定义
    alexkh
    alexkh
    Jan 22, 2015
    29
    win8,感觉文章字体有点虚
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    30
    @veau 开始也碰到过这个问题,后来实现一个代理池,基本解决了被干的问题。
    不过请求频率低一点,尽量伪造真实的浏览器行为能减少被干的可能
    declanVox
    declanVox
    Jan 22, 2015
    31
    能帮抓下人人公众平台的这个账号(历史就是重口味)吗?我想把他变成RSS订阅(人人公众号在PC端不让看,只能上移动端)

    链接如下
    http://public.renren.com/blog/630002445/944051120
    puyo
    puyo
    Jan 22, 2015
    32
    puyo
    puyo
    Jan 22, 2015
    33
    可以定于很赞啊,但是“weibo login failed”
    wormcy
    wormcy
    Jan 22, 2015
    34
    同好奇 数据是从哪爬的
    Jning
    Jning
    Jan 22, 2015
    35
    不错,赞
    exceloo
    exceloo
    Jan 22, 2015
    36
    搜狗又是怎么抓的,好奇
    tearsinchina
    tearsinchina
    Jan 22, 2015
    37
    请问有提交的地方吗?
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    38
    @puyo MD微博登录还要新浪审核?好像是这个问题,之前一直用自己的账号登录,没有问题。哎,晚上回去再弄一下吧。可以订阅阅读,推送到kindle


    @tearsinchina 左下角有个“添加公众号”的按钮;添加之后,并不会立即抓取文章列表
    shajiquan
    shajiquan
    Jan 22, 2015
    39
    看起来很酷。但是用微博登录后显示:weibo login failed。
    zhoupengfei
    zhoupengfei
    Jan 22, 2015
    40
    @exceloo 搜狗微信不是一家吗
    Crossin
    Crossin
    Jan 22, 2015
    41
    楼主是如何找到新文章的?一直没找到这个来源
    BloodyGhoul
    BloodyGhoul
    Jan 22, 2015 via Android
    42
    可以提交自己想要的公众号么?
    jon
    jon
    Jan 22, 2015
    43
    不错做这个要会什么,学多久?
    endosome
    endosome
    Jan 22, 2015
    44
    可以给出rss 链接么?
    zangbob
    zangbob
    Jan 22, 2015❤️1
    45
    楼主已经说了,不能微博登录,所以没法测试添加rss。。。

    希望楼主能继续努力,超越那个chuansongme。。。。那个烂网站太恶心了
    wanghanlin
    wanghanlin
    Jan 22, 2015
    46
    babyname
    babyname
    Jan 22, 2015
    47
    搜狗是腾讯给的API
    第三方抓,抓取某个公众号的文章,通过历史消息页面。
    Lucups
    Lucups
    Jan 22, 2015
    48
    @lzxgh621 不是全挂,我开始也以为是的,要滚动一下页面,才会加载图片。。。bug @iewgnaw
    ericls
    ericls
    Jan 22, 2015
    49
    真羡慕你们这些会设计界面的!!
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    50
    @Crossin 查看搜狗微信搜索的请求地址啊
    @BloodyGhoul 可以添加的,走下角有个按钮的。但不是立即抓取所有内容。

    @jon 会前端的话很快的吧,我主要是不会前端,现学现做的,真是吐血啊

    @Lucups 哪个页面滚动才加载图片的?文章的阅读页面是等图片到达可视区才加载的,其他的都是直接加载的

    @ericls 现学现做,再抄抄别人的界面
    Alecio
    Alecio
    Jan 22, 2015
    51
    天。。这几天我也正在做一个类似的东西,没想到LZ已经做好了。。
    后台转mobi格式用的是calibre还是Kindlegen?
    maye696
    maye696
    Jan 22, 2015
    52
    这个好东西,能订阅feedly就太好了
    vivisidea
    vivisidea
    Jan 22, 2015
    53
    不错啊,但这样会有版权问题么。。
    Lucups
    Lucups
    Jan 22, 2015
    54
    @iewgnaw 不知道是不是你的 jquery.unveil 有问题



    Lucups
    Lucups
    Jan 22, 2015
    55
    难道是因为我用 21寸屏幕看的原因?
    SuperSquirrel
    SuperSquirrel
    Jan 22, 2015
    56
    很不错,喜欢这样的界面
    huigeer
    huigeer
    Jan 22, 2015
    57
    界面不错哦,默默赞一个
    tjxiter
    tjxiter
    Jan 22, 2015
    58
    @iewgnaw 做网站,买域名一个月多少钱? 不过查了下,你那个域名是免费的
    shiny
    shiny
    Jan 22, 2015
    59
    @iewgnaw 搜狗抓取有频率限制,你有没有做突破限制的处理?
    hanyun
    hanyun
    Jan 22, 2015
    60
    不错噢!之前有看过传送门~ @shiny 同问搜狗的抓取频率限制怎么处理?
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    61
    @Alecio 这么巧啊。用的kindlegen的,calibre有命令行的方式?
    @vivisidea 细究的话肯定有的,但这种网站不会有什么大的影响,应该没人追究吧
    @Lucups 应该是那个js有些问题。我再改改看
    iewgnaw
    iewgnaw
    OP
    Jan 22, 2015
    62
    @tjxiter 不是免费的,一年也就几十块

    @shiny
    @hanyun
    实现了一个代理池的功能,保证每次请求都是代理池中的ip
    ljcarsenal
    ljcarsenal
    Jan 22, 2015
    63
    大家都热衷爬微信的文章,哈哈。。。一个月之前做了个 http://www.fxbiao.net/ ,不过界面不是我写的
    fuermosi777
    fuermosi777
    Jan 23, 2015❤️2
    64
    可以看看我做的iOS app 也是用python爬的 不过目前公众号只有120多个 https://itunes.apple.com/us/app/xue-sheng-ri-bao-hui-ju-zui/id954164794?mt=8
    flash866
    flash866
    Jan 23, 2015
    65
    楼主能分享下原理吗?
    Juntle
    Juntle
    Jan 23, 2015
    66
    很赞哦!
    ATiGr
    ATiGr
    Jan 23, 2015
    67
    非常好用!期待信息更加完全!感觉比手机看方便太多啊!
    imlewc
    imlewc
    Jan 23, 2015
    69
    @shiny 何必那么频繁,定时就够了
    imlewc
    imlewc
    Jan 23, 2015
    70
    @dddd 这个还行 量还是有的
    imlewc
    imlewc
    Jan 23, 2015
    71
    @vivisidea 在中国是不太用考虑这个问题的
    imlewc
    imlewc
    Jan 23, 2015
    72
    @fuermosi777 点个赞
    vivisidea
    vivisidea
    Jan 23, 2015
    73
    @tjxiter pw域名不免费,但相对比较便宜,namecheap上最近注册了一个 lib64.pw 首年才24块RMB,续费好像是 50RMB/year

    估计这类域名对搜索引擎不是很友好,可能内容比较难被收录
    tjxiter
    tjxiter
    Jan 23, 2015
    74
    @vivisidea 看来一分钱一分货是永恒的真理。

    要是搞个个人博客买什么域名比较好呀?
    ivlucks
    ivlucks
    Jan 23, 2015
    75
    @yanwen 谢谢
    vivisidea
    vivisidea
    Jan 23, 2015
    76
    @tjxiter 不造啊。。个人博客写着写着就写不下去了,我还有一个 info 域名收录情况貌似还好

    去google 的 webmaster tool 提交索引请求
    提交 sitemap.xml
    优化页面的 title,keywords

    这些基本的对搜索引擎友好的事情要做

    当然最重要还是文章质量要高
    rico93
    rico93
    Jan 25, 2015
    77
    kindle的订阅发送时怎么实现的
    dellch
    dellch
    Jan 25, 2015
    78
    @fuermosi777 请问是原生应用么?
    fuermosi777
    fuermosi777
    Jan 25, 2015
    79
    @dellch 是的 文章页面用的webview
    Crossin
    Crossin
    Jan 29, 2015
    80
    @iewgnaw @wanghanlin 嗯,那么问题来了:他这里是通过什么发现文章更新并抓取的呢?
    虽然从实现上来说,有一个地方能给到最新数据已经可以了,但没想通这个问题。官方公开渠道是没找到。
    有想到过,通过微信关注一堆公众号,然后想办法模拟这个微信号的登录,拿到收到的公众号文章列表。
    misctalk
    misctalk
    Feb 2, 2015
    81
    文章抓取是怎么实现的啊?
    有没有开源实现可以学习?

    谢谢了
    muzixinly
    muzixinly
    Aug 3, 2015
    82
    @iewgnaw 代理池用的哪个呢?
    wenfan
    wenfan
    Nov 19, 2015 via iPhone
    83
    我也一直有个项目 需要找到 key 和 pass_ticket , pass_ticket 已经基本解决了,还需要 key ! 如果有人会解决 可以有偿!!! wechat 微信: 23511839.......跪求
    haoning747
    haoning747
    Mar 7, 2016
    84
    微信我算是放弃了,直接爬不可以,用斯库林模拟点击也不可以,所以,大家还不不要再搞了,我还是玩我的网盘吧: http://www.quzhuanpan.com
    wjx1993
    wjx1993
    Dec 12, 2017 via Android
    85
    @likid 搜狗的微信公众号文章是有时效的吧!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   547 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 814ms · UTC 19:46 · PVG 03:46 · LAX 11:46 · JFK 14:46
    ♥ Do have faith in what you're doing.