这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
Trim21

使用 p2p 网络获取 sci-hub 上的论文

  •  3
     
  •   Trim21 · Jul 12, 2021 · 4854 views
    This topic created in 1947 days ago, the information mentioned may be changed or developed.

    reddit发起了一个项目,备份了目前 sci-hub 所有的论文。

    所以现在所有的 sci-hub 论文在 p2p 网络中都有一份了,理论上可以通过一个 bt 客户端去获取。 但是因为打包的时候是把 1000 篇论文打包在同一个种子文件中,所以还需要一些额外的步骤。

    我正在尝试写一个客户端,可以直接通过 doi,在 p2p 网络中获取到对应的论文文件。

    目前的进度是刚写完种子解析,下一步开始写一个 zip 文件的索引生成器,然后再实现一个剪切过的 bt 客户端,针对性的在 p2p 网络上获取数据块。

    只要拥有索引和对应的种子文件,就能反查出一个 doi 对应 p2p 网络中的哪一个或者哪几个 bt 数据块,再从别的 peer 获取数据,最终解压出对应的论文文件。

    https://github.com/Trim21/sci-hub-p2p

    有想法,或者感兴趣想一起实现的可以邮件我,联系方式见 github

    Supplement 1  ·  Jul 12, 2021
    说错了,是 10w 篇论文,不是 1000 篇
    Supplement 2  ·  Jul 16, 2021
    建了个 tg 群,偶尔发一下进展

    https://t.me/joinchat/pqVtavsbI-8xODZl
    17 replies  •  2024-06-13 11:51:30 +08:00
    Trim21
    Trim21
    OP
    Jul 12, 2021 via Android
    1
    不过好像这个备份不是单纯的把文件直接 zip 在一起来着,虽然下了两个种子在做种但是没解压尝试。

    希望不要最后发现每篇论文的数据是离散的…
    xarthur
    xarthur
    Jul 12, 2021 via iPhone❤️1
    2
    不用这么麻烦,sci-hub 有支持 ipfs 的计划,如果放到 ipfs 之后就可以直接浏览了,不需要全部下载。
    Trim21
    Trim21
    OP
    Jul 12, 2021 via Android
    3
    @xarthur 大概我能比 ipfs 先上线()
    Trim21
    Trim21
    OP
    Jul 12, 2021 via Android
    4
    @Trim21 正经一点说,ipfs 上线了之后估计这个备份的项目应该也不会停掉。
    相比单纯占用硬盘空间,能多一个数据获取的方法应该也不算什么坏事
    tousfun
    tousfun
    Jul 12, 2021
    5
    先 star 了
    12345tiger
    12345tiger
    Jul 12, 2021 via Android
    6
    想法很有意义,干了我想干没干的事,star 之
    codehz
    codehz
    Jul 12, 2021
    7
    ipfs 不也是 p2p 的。。。
    嘛,非要用 gateway 的话那确实是中心化的,但是也不是不可以嵌入一个 ipfs-lite
    Trim21
    Trim21
    OP
    Jul 12, 2021 via Android
    8
    @codehz 主要是 ipfs 现在不还没影吗,bt 虽然传统但是这个情况下已经足够用了。

    要是我进展的快的话,等 ipfs 上线了还能额外再嵌入一个 ipfs (开始做梦)
    xarthur
    xarthur
    Jul 12, 2021 via iPhone
    9
    @Trim21 那倒也行(
    Akkuman
    Akkuman
    Jul 15, 2021 via Android
    10
    NeedforV2
    NeedforV2
    Jul 16, 2021
    11
    star 为敬!
    threebr
    threebr
    Jul 18, 2021
    12
    想法实在太棒了
    ppddtt
    ppddtt
    Jul 19, 2021
    13
    这不就是 emule 能干的事情吗
    yujiang
    yujiang
    Jul 20, 2021 via Android
    14
    这玩意我咋记得似乎在哪个地方看过?
    atx
    atx
    Jul 23, 2021
    15
    用这个原理是不是可以只下载视频的精彩部分?
    ukuyu
    ukuyu
    Jul 27, 2021 via iPhone
    16
    先 star 为敬
    adrianzhang
    adrianzhang
    Jun 13, 2024
    17
    原来是你!!!! 这么好的项目!太棒了!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4408 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 102ms · UTC 03:43 · PVG 11:43 · LAX 19:43 · JFK 22:43
    ♥ Do have faith in what you're doing.