h8743
V2EX  ›  Java

现在 Java 爬虫有啥推荐的么? webmagic 很久没维护了

  •  
  •   h8743 · Apr 28, 2019 · 6228 views
    This topic created in 2749 days ago, the information mentioned may be changed or developed.
    15 replies  •  2019-05-05 02:11:17 +08:00
    FightingX
    FightingX
    Apr 28, 2019
    1
    我一般基于 httpclient 自己写下载器
    h8743
    h8743
    OP
    Apr 28, 2019
    2
    @FightingX 重复造轮子不舒服
    xioxu
    xioxu
    Apr 28, 2019
    3
    虽然平时我也写 java, 但爬虫我还是喜欢用 python 的 scrapy, 简单好用, 爬虫常用场景都有内在支持。
    yestodayHadRain
    yestodayHadRain
    Apr 28, 2019
    5
    Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的
    swuzjb
    swuzjb
    Apr 28, 2019
    6
    Jsoup
    canbingzt
    canbingzt
    Apr 28, 2019
    7
    这种框架如果没有遇到 bug 的话,更新不更新应该是无所谓的吧,能满足需求就行了啊
    quadrapop
    quadrapop
    Apr 28, 2019
    8
    python 写爬虫就行,反正都是保存到数据库
    java 一般我们用 Jsoup,还可以
    uminokoe
    uminokoe
    Apr 28, 2019
    9
    歪个楼,遇到需要使用 selenium 的情况用什么框架好呢?
    xyooyx
    xyooyx
    Apr 29, 2019
    10
    jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie
    zhangjinglongi
    zhangjinglongi
    Apr 29, 2019
    11
    dongliu 的 reuqests 也挺好用的,模仿的 python 的
    ala2008
    ala2008
    Apr 29, 2019
    12
    一般使用就可以了吧
    xinQing
    xinQing
    Apr 29, 2019
    13
    这个 webmagic 很成熟了啊,源码也比较简单,推荐使用~
    h8743
    h8743
    OP
    Apr 30, 2019
    14
    @xinQing get
    wiix
    wiix
    May 5, 2019
    15
    手撸一个
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   949 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 19:39 · PVG 03:39 · LAX 11:39 · JFK 14:39
    ♥ Do have faith in what you're doing.