WuwuGin
V2EX  ›  互联网

煎蛋被爬虫爬炸了

  •  2
     
  •   WuwuGin · Oct 16, 2017 · 9027 views
    This topic created in 3308 days ago, the information mentioned may be changed or developed.
    昨晚到现在煎蛋后台大部分时间是瘫痪着的,因为有人在疯狂采集,连接数过多让煎蛋数据库频繁挂掉。点不了 OOXX 发不出评论 /吐槽的同学不要猜测,原因就是这个。

    至于为什么被频繁采集,这要归功于某些拿煎蛋练手还去 github 开源采集煎蛋程序的牛逼程序员们。



    原本我们是可以从服务器端屏蔽掉恶意采集,但服务器扛不住 DDOS,不得不全站 cdn,但 cdn 又等于是把静态内容贡献给恶意采集者。

    COLT 正努力从技术层面解决。请耐心等候。


    以上来自煎蛋站长 sein。
    30 replies  •  2017-12-13 13:24:50 +08:00
    iShawnWang
    iShawnWang
    Oct 16, 2017 via iPhone
    1
    这.....
    laogui
    laogui
    Oct 16, 2017 via Android
    2
    采集不是用同一个 IP 吗?这都防不了?难道换着 IP 采集?
    Mikewu
    Mikewu
    Oct 16, 2017
    3
    @laogui 看正文,估计是成为开源爬虫项目中的 Demo 了。
    lwbjing
    lwbjing
    Oct 16, 2017
    4
    @laogui 文中有提到“开源采集煎蛋程序”,想像一下场景...
    jas0ndyq
    jas0ndyq
    Oct 16, 2017 via iPhone
    5
    快了?
    takanasi
    takanasi
    Oct 16, 2017 via Android❤️1
    6
    所以不爱写爬虫,感觉比较缺德
    zts1993
    zts1993
    Oct 16, 2017
    7
    写个爬虫练个手,你看知乎现在登陆都要验证码了。
    oh
    oh
    Oct 16, 2017 via iPhone
    8
    @laogui 多 IP 多线程 甚至分布式采集 不都是必备的么…
    coderluan
    coderluan
    Oct 16, 2017❤️1
    9
    写爬虫从来只用单线程龟速爬,否则感觉自己在干缺德的事。
    yu099
    yu099
    Oct 16, 2017 via Android
    10
    果然,我说图怎么刷不出来
    doublleft
    doublleft
    Oct 16, 2017
    11
    猜测一下,因为我也采过,一般都是爬妹子图吧。。 既然妹子图链到的是微博图床,能不能直接开个 api
    swulling
    swulling
    Oct 16, 2017
    12
    技术不行罢了
    deeporist
    deeporist
    Oct 16, 2017
    13
    加油
    EricCartman
    EricCartman
    Oct 16, 2017❤️1
    14
    重定向爬虫到开源操作系统镜像文件
    yu099
    yu099
    Oct 16, 2017 via Android
    15
    @EricCartman 这个不错
    Sapp
    Sapp
    Oct 16, 2017
    16
    最近知乎的爬虫教程都烂大街了,真搞不懂弄那么多爬虫是搞毛?就图个好玩?
    gamexg
    gamexg
    Oct 16, 2017❤️1
    17
    @oh #8

    如果确认是开源爬虫问题,那么很好搞定啊。
    直接照着爬虫规则改,让爬虫无法匹配即可。

    另外虽然多 ip 分布式是爬虫常见功能,但是个人学习的话 ip 来源不会有那么多,高频率 ip 封禁或者加 js 验证、验证码验证都能够解决。
    lingo
    lingo
    Oct 16, 2017
    18
    @swulling 个人感觉不能单纯用技术不行来说。本来以他们技术可以维持网站的的正常访问,结果这个开源项目带来大量的异常流量导致网站挂了,总不能要求每个公司都跟 BAT 一样吧。
    iFlicker
    iFlicker
    Oct 16, 2017❤️1
    19
    老大加油, 可怜的 COLT。。。估计 colt 系列无聊图又要出了
    WordTian
    WordTian
    Oct 16, 2017 via Android
    20
    我说怎么最近评论的时候总出问题呢
    mohoumk2
    mohoumk2
    Oct 16, 2017❤️11
    21


    发现回复下面有个有趣的评论
    ccc008
    ccc008
    Oct 16, 2017
    22
    爬蚱好吃
    congeec
    congeec
    Oct 16, 2017 via iPhone
    23
    缺德
    jy02201949
    jy02201949
    Oct 16, 2017 via Android
    24
    访问到这个量级的站也不好好考虑自身条件是否符合发展需要,当年被告也是这样不知所措
    Lentin
    Lentin
    Oct 16, 2017
    25
    搞个 api 不就好了,还采集啥(雾
    fuxkcsdn
    fuxkcsdn
    Oct 16, 2017❤️2
    26
    @mohoumk2 正解!上次在 V 站上看到有人“又”(为什么说又呢?你们懂的)在发布所谓牛逼的煎蛋爬虫,at 了站长也没做处理
    这边不让讨论盗版,却可以光明正大的分享偷(别说爬虫不算偷)别人数据的项目...
    zander1024
    zander1024
    Oct 30, 2017
    27
    wbt
    wbt
    Oct 30, 2017
    28
    。。。
    tuding
    tuding
    Oct 30, 2017
    29
    @coderluan +1
    我也是单线程爬, 而且挂服务器上, 避开高峰时间
    Jayce245
    Jayce245
    Dec 13, 2017
    30
    你要是说练个手爬几张图片看看是不是正确也就算了,无限制爬取的确挺缺德的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4774 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 72ms · UTC 08:13 · PVG 16:13 · LAX 00:13 · JFK 03:13
    ♥ Do have faith in what you're doing.