woshinide300yuan
V2EX  ›  问与答

搜狗疯起来,真的让人感到害怕。

  •  
  •   woshinide300yuan · Sep 4, 2017 · 4719 views
    This topic created in 3349 days ago, the information mentioned may be changed or developed.

    搜狗蜘蛛堪比 DDOS 式的抓取,让人感觉到绝望,好好的一个小主机,被搜狗一顿戏虐。各种渠道的反馈基本没什么效果,只能来 V2 发个帖,供大家娱乐一下了。

    单个 IP 请求数高了还能限制限制,最可怕的就是一群 IP 同时访问,哈哈哈~ 来点纸巾,我想擦擦眼泪。

    20 replies  •  2017-09-04 17:27:27 +08:00
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    1
    topbandit
    topbandit
    Sep 4, 2017
    2
    涉 H ?
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    3
    @topbandit 不不不不 纯洁小博客!!真的!!
    topbandit
    topbandit
    Sep 4, 2017
    4
    系统防火墙封网段即可
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    5
    @topbandit 准备着手封 UA 了。有搜索量也不要了,这种婉约派的 DDOS,让人迷醉。
    topbandit
    topbandit
    Sep 4, 2017
    6
    nginx、appache 配置个反爬虫即可
    Finest
    Finest
    Sep 4, 2017
    7
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    8
    @topbandit 我去百度学习一下。
    @hand515 谢谢你的这篇文章。
    Finest
    Finest
    Sep 4, 2017❤️1
    9
    @woshinide300yuan #8 文章不是我的,我也只是个搬运工
    misaka19000
    misaka19000
    Sep 4, 2017 via Android
    10
    为啥不用 robots.txt
    wentian
    wentian
    Sep 4, 2017 via Android
    11
    @misaka19000

    robots 只能防君子


    然我国国情是,,,
    peesefoo
    peesefoo
    Sep 4, 2017 via Android
    12
    多少年前就已经是这样了,反馈是没用的的。目前已经在域名解析那里把搜狗 bot 解析到他们自己的 ip 了,世界瞬间安静了。
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    13
    @peesefoo 可以可以! 只是限制搜狗在移动端比较发力,硬生的切断,对于一个公开的网站来说是比较尴尬的。 好迷醉哦。
    kmahyyg
    kmahyyg
    Sep 4, 2017 via Android
    14
    @peesefoo 这个怎么弄呢?
    GG668v26Fd55CP5W
    GG668v26Fd55CP5W
    Sep 4, 2017 via iPhone
    15
    这狗是疯了吧,不知道在 nginx 层根据 ua 直接返回 403 有没有效果
    peesefoo
    peesefoo
    Sep 4, 2017 via Android
    16
    @woshinide300yuan 看网站情况而定吧,我的网站一个月来自搜狗的流量不到 20 个,切断它的抓取对我的网站几乎没有影响。
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    17
    @falcon05 有效果的。嘻嘻~
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    18
    @peesefoo 哈哈 苍蝇腿也是肉嘛,富含蛋白质。
    Loyalsoldier
    Loyalsoldier
    Sep 4, 2017
    19
    搜狗的蜘蛛比 Google 的频繁多了
    woshinide300yuan
    woshinide300yuan
    OP
    Sep 4, 2017
    20
    @Loyalsoldier 嗯。谷歌起码还有点节操,每次蜘蛛的数量和间隔控制的都很好,不会造成压力。狗哥来就几十个一起来,秒抓并持续一段时间,想想都尴尬!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1442 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 23:21 · PVG 07:21 · LAX 15:21 · JFK 18:21
    ♥ Do have faith in what you're doing.