s1xu
V2EX  ›  V2EX

关于论坛 rss 新主题源

  •  
  •   s1xu · Jun 3, 2024 · 13986 views
    This topic created in 887 days ago, the information mentioned may be changed or developed.

    来了挺久了一直潜水,最近在写 tg 推送 rss 的东西,想追下论坛最新的帖子

    现在是抓取的 https://www.v2ex.com/index.xml 这个地址,但是有新回复也会推送

    我的需求是,只要新主题,请问各位有没有这个源?

    27 replies  •  2024-06-04 12:23:13 +08:00
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    2
    @yesha 多谢解答,但是我希望是 rss 源
    yesha
    yesha
    Jun 3, 2024
    3
    帮不了你了. 你可以自己用 api 数据,自己做个 xml 源
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    4
    有道理噢,新思路,多谢
    sleepm
    sleepm
    Jun 3, 2024
    6
    上数据库,新增记录前查找,存在就不新增
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    7
    @sleepm 主要用的这个地址不是通用的 rss 格式,我用 py 的 feedparser 做了一个通用的,只提取 title 和 link ,index.xml 这个地址的 link 会显示回复的地址,所以不太好用
    elechi
    elechi
    Jun 3, 2024
    8
    https://www.v2ex.com/feed/tab/tech.xml
    我订阅的这个,没有回复
    Zaden
    Zaden
    Jun 3, 2024
    9
    @elechi #8 请问哪里来的 xml ?这个地址只有技术的,有所有主题的吗?
    fixbugs
    fixbugs
    Jun 3, 2024
    10
    可以使用 rsshub
    Zaden
    Zaden
    Jun 3, 2024
    11
    @Zaden #9 发现就在右侧栏里 https://www.v2ex.com/index.xml
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    13
    @Zaden 这个又回到了我前面讲的,会推送回复的帖子
    eaststarpen
    eaststarpen
    Jun 3, 2024
    14
    https://fast.v2ex.com/t/1040682 里有站长的回复 " https://www.v2ex.com/changes"

    该页面底部存在描述 "本页面是全站最新的 100 个主题......"

    我简单查看了里面的帖子,似乎也是根据回复时间刷新的

    或许你可以 at 站长问一下
    0o0O0o0O0o
    0o0O0o0O0o
    Jun 3, 2024 via iPhone
    15
    我也一直觉得应该分为两个,最新发布的主题是一个,有最新回复的主题是另一个。我记得它会在后面带上#reply 并且没有唯一的 ID ,就会重复推送了。
    encro
    encro
    Jun 3, 2024
    16
    不用了,直接 ID 加 1 解决。
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    17
    @0o0O0o0O0o 是的,这里的主题和帖子是两个概念,rss 这个推送的是帖子,也就是最新的回复,我的想法是只监听最新的主题
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    18
    @eaststarpen 这个帖子我搜索过,最后一条回复就是我
    fydss
    fydss
    Jun 3, 2024
    19
    https://www.v2ex.com/recent?p=1 这个最近的主题是不是
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    20
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    21
    @fydss 不是,点进去第一条,发布时间是 9 个小时 5 分钟前
    fydss
    fydss
    Jun 3, 2024
    22
    @s1xu https://www.v2ex.com/feed/tab/all.xml 我把楼上老哥的地址改了一下,还真是可以访问的 XML ,乐
    s1xu
    s1xu
    OP
    Jun 3, 2024 via iPhone
    23
    @fydss 但是这个 table 推送的也不是最新发送的主题哈哈哈
    NewYear
    NewYear
    Jun 3, 2024
    24
    这说明你抓取的不对,RSS 的<id>就是每个主题的唯一值。不会变化的,不要光靠 URL 来做判断,而且你自己抓取的话,也可以去掉#后面的内容。


    @s1xu
    @0o0O0o0O0o
    0o0O0o0O0o
    0o0O0o0O0o
    Jun 3, 2024
    25
    @NewYear #24 #15 我看了下,v2ex 的 RSS 是有 ID 的,是我记错了

    遇到过有的 RSS 不带 ID ,RSS 工具就会自己算 id/guid , # 后面的内容也会被带进去计算
    s1xu
    s1xu
    OP
    Jun 4, 2024
    26
    @NewYear 主要是想做一个通用的,直接解析 title 和 link
    NewYear
    NewYear
    Jun 4, 2024
    27
    @s1xu

    这一块我之前也研究过,甚至报告过 feedly 错误处理的问题。加上后来自己想做个 rss 阅读器所以比较清楚。

    <id>就是最通用的,是规范。
    另外你要用自己的算法判断唯一,也可以用“标题”+“内容”做一个 hash 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   818 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 88ms · UTC 19:09 · PVG 03:09 · LAX 11:09 · JFK 14:09
    ♥ Do have faith in what you're doing.