• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sedgwickz
V2EX  ›  程序员

利用 Cloudflare Worker 撸了一个在线爬虫,有需要的朋友可以看看。

  •  
  •   sedgwickz · Dec 20, 2020 · 9620 views
    This topic created in 2152 days ago, the information mentioned may be changed or developed.

    Logo

    项目地址:

    https://github.com/sedgwickz/jsonHunter

    在线网站:

    https://jsonhunter.vercel.app/

    演示图:

    演示图

    如果觉得对你有用帮忙给个 star🧡哈,根据情况可以继续完善。

    20 replies  •  2020-12-21 14:08:33 +08:00
    kidlj
    kidlj
    Dec 20, 2020 via iPhone
    1
    很棒。有一个问题想问,serverless 架构每个运行的实例出口 IP 是一样的吗?如果每次不一样,那可太适合爬虫了,不过我猜可能性不大。
    vagrantear
    vagrantear
    Dec 20, 2020
    2
    已经 star 了,感觉还不戳
    sedgwickz
    sedgwickz
    OP
    Dec 20, 2020
    3
    @kidlj 这正是利用 worker 的原因,还在实验中。。。😀
    sedgwickz
    sedgwickz
    OP
    Dec 20, 2020
    4
    @kidlj 即使一个同一个 worker 是固定 ip,可以想像要是创建 N 个 worker,实现类似 Load balance 效果,比市面上免费的代理 ip 应该好多了。
    WordTian
    WordTian
    Dec 20, 2020 via Android
    5
    不过这类要封也容易,cf 有固定 ip 段的
    sedgwickz
    sedgwickz
    OP
    Dec 20, 2020
    6
    @WordTian 其实项目初衷也不是让大家去大规模去爬取哈,主要帮助大家开发,类似方便快捷的获取 jsonplaceholder 的效果。
    echowuhao
    echowuhao
    Dec 20, 2020
    7
    你要是拿来做爬虫,估计违反人家的用户条款。
    lizheming
    lizheming
    Dec 20, 2020
    8
    jinliming2
    jinliming2
    Dec 20, 2020
    9
    爬取网页的话,会自动把网页中的 http 链接替换成 https,这是 worker 自动搞得😂
    no1xsyzy
    no1xsyzy
    Dec 20, 2020
    10
    之前就听人说过了,而且对于爬套了 CF 的网站有奇效,能绕过 CF 的质询(白名单
    Juszoe
    Juszoe
    Dec 20, 2020
    11
    @no1xsyzy 哈哈,用 CF 对付 CF 可还行
    musi
    musi
    Dec 20, 2020 via iPhone
    12
    @no1xsyzy 这就是用魔法打败魔法么
    docx
    docx
    Dec 20, 2020
    13
    @lizheming 应该只是拿 vercel 作为 cdn
    sampeng
    sampeng
    Dec 20, 2020 via iPhone
    14
    serveless 迟早被玩坏…
    mamahaha
    mamahaha
    Dec 20, 2020
    15
    这配色真是用心良苦
    BwNVlwSq
    BwNVlwSq
    Dec 20, 2020 via iPhone
    16
    这 LOGO,好家伙🤣
    vilicvane
    vilicvane
    Dec 21, 2020
    17
    我感觉这个 HTML 到 JSON 的映射挺有意思啊,有考虑过单独做成一个库吗?
    netnr
    netnr
    Dec 21, 2020 via Android
    18
    cfw 做代理没得问题,但是滥用被投诉就有问题(我前面的跨域代理绑定的域名已经被永封了)
    vercel 做代理会收到警告邮件要求整改
    c978R77Le1z2f8u9
    c978R77Le1z2f8u9
    Dec 21, 2020
    19
    @no1xsyzy 我刚刚去看了一眼我的网站访问记录,cf 的 firewall rule 对 cf 的 ip 免疫
    fuxkcsdn
    fuxkcsdn
    Dec 21, 2020
    20
    cf worker 根据 UA 就封得了了,UA 改不了我记得(刚出来那会测试的)
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4729 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 01:37 · PVG 09:37 · LAX 17:37 · JFK 20:37
    ♥ Do have faith in what you're doing.