suyuanhxx

前段时间学习 go 写了一个 tumblr 图片爬虫

  •  
  •   suyuanhxx · Mar 28, 2018 · 3722 views
    This topic created in 3149 days ago, the information mentioned may be changed or developed.

    tumblr 爬虫(爬取指定主页)

    -- 食用方法

    1. 在sites.txt中添加指定 tumblr 主页,比如http://allthingseurope.tumblr.com/只需要添加allthingseurope
    2. 多条分行添加
    3. 修改代理。将common/proxyHttp.go中的127.0.0.1:1080改成自己代理
    4. 下一步工作,获取高清大图......、

    项目链接:https://github.com/suyuanhxx/crawler

    10 replies  •  2018-04-27 07:56:11 +08:00
    Danswerme
    Danswerme
    Mar 28, 2018 via Android
    1
    🐴
    Danswerme
    Danswerme
    Mar 28, 2018 via Android
    2
    🉑
    suyuanhxx
    suyuanhxx
    OP
    Mar 28, 2018
    3
    欢迎各位 star
    flyzero
    flyzero
    Mar 29, 2018
    4
    同时差不多 50 并发,官方不反爬虫吗
    suyuanhxx
    suyuanhxx
    OP
    Mar 29, 2018
    5
    @flyzero #4 不会,这个并发量也不大
    reexamine
    reexamine
    Mar 29, 2018
    6
    tumblr 不是有开放 api 吗
    suyuanhxx
    suyuanhxx
    OP
    Mar 29, 2018
    7
    @liyaojian #6 开放的 api 需要注册开发者模式,我没弄
    guonning
    guonning
    Mar 29, 2018 via Android
    8
    能否加个也可下视频功能?
    suyuanhxx
    suyuanhxx
    OP
    Mar 29, 2018
    9
    @guonning #8 本打算做的,有时间就会继续的
    DukeAnn
    DukeAnn
    Apr 27, 2018
    10
    666
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1917 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 15:39 · PVG 23:39 · LAX 07:39 · JFK 10:39
    ♥ Do have faith in what you're doing.