BackBox
V2EX  ›  问与答

V2EX禁止抓取?

  •  
  •   BackBox · Apr 29, 2013 · 4599 views
    This topic created in 4948 days ago, the information mentioned may be changed or developed.



    想抓取V2EX的酷工作。
    14 replies  •  1970-01-01 08:00:00 +08:00
    dreamage
    dreamage
    Apr 29, 2013
    1
    @ L 老板问问
    BackBox
    BackBox
    OP
    Apr 29, 2013
    2
    celloyee
    celloyee
    Apr 29, 2013
    3
    http头里加一个referer=v2ex.com应该就好了
    swulling
    swulling
    Apr 29, 2013
    4
    抓取是禁不了的
    orzfly
    orzfly
    Apr 29, 2013
    5
    同,ucweb(塞班)访问也是400。
    (别pia我说换手机或者不用uc,你若真用塞班还是会觉得uc很有必要的)
    hzlzh
    hzlzh
    Apr 29, 2013
    6
    不用抓,api现成的,try:
    http://v2ex.com/api/topics/show.json?node_id=43
    wuyamoyun
    wuyamoyun
    Apr 29, 2013
    7
    塞班可以用opera正常
    jacy
    jacy
    Apr 29, 2013
    8
    模拟成一个正常的浏览器试试,加上rederer,cookie之类的。
    iloahz
    iloahz
    Apr 29, 2013
    9
    借楼抱个不知道是特性还是bug的东西:在wp系统的uc浏览器中,后退键的结果是乱的。比如我访问首页->某主题,然后后退,有时就知道退到uc的首页了,也就是跳过了v2ex的首页
    @Livid
    GordianZ
    GordianZ
    Apr 29, 2013
    10
    没有 user agent 的全部返回 400.
    mikuazusa
    mikuazusa
    Apr 29, 2013
    11
    @GordianZ @BackBox 貌似听L说是V2EX的防DDos逻辑里加了对HTTP Request Header的检测...可以试试伪造一个完整的Header去抓,另外即使有UA貌似不符合规则的貌似也一样400
    workaholic
    workaholic
    Apr 30, 2013❤️1
    12
    部分节点需要登录,肯定可以抓的
    BackBox
    BackBox
    OP
    Apr 30, 2013
    13
    @mikuazusa 有理!!
    居然为了防DDOS加了HTTP Request header验证,

    但是iptables不能对http request header验证。
    到了应用服务器验证,也就没有多大效果了。。毕竟也阻塞了。
    yeshang
    yeshang
    Apr 30, 2013
    14
    明显 @Livid 不理你
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2731 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 04:24 · PVG 12:24 · LAX 20:24 · JFK 23:24
    ♥ Do have faith in what you're doing.