• 请不要在回答技术问题时复制粘贴 AI 生成的内容
iorilu
V2EX  ›  程序员

下载 huggingface 大模型有什么好方法吗

  •  
  •   iorilu · Feb 15, 2025 · 6684 views
    This topic created in 628 days ago, the information mentioned may be changed or developed.

    也用了 https://hf-mirror.com/

    但这个基本下几 G 就限流了

    直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本 没完成就没速度了

    大家有啥好方法吗, 现在模型太大了, 都是几十 G

    25 replies  •  2025-04-02 19:46:26 +08:00
    1daydayde
    1daydayde
    Feb 15, 2025
    1
    限流的话断点续传就好了
    774157009
    774157009
    Feb 15, 2025
    2
    modelscope.cn +断点续传
    wencan
    wencan
    Feb 15, 2025
    3
    hf-mirror cli 断点续传
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    Feb 15, 2025
    4
    你都能上 v 站了, 翻墙还不利索?
    Kite6
    Kite6
    Feb 15, 2025 via Android
    5
    代理+直接 wget
    MagmaBlock
    MagmaBlock
    Feb 15, 2025
    7
    可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
    前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
    hertzry
    hertzry
    Feb 15, 2025 via iPhone
    8
    If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.

    pip install "huggingface_hub[hf_transfer]"
    HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
    penisulaS
    penisulaS
    Feb 15, 2025
    9
    有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
    omega3
    omega3
    Feb 15, 2025
    10
    上个优质科学网络 tg:wavevwe
    iorilu
    iorilu
    OP
    Feb 15, 2025
    11
    @ospider 这种大文件下一会儿就限流的, 除非不停换节点
    kokutou
    kokutou
    Feb 15, 2025 via Android
    12
    代理呢。。。。
    国外 vpn 都随便 1t 流量,敞开下啊
    evan9527
    evan9527
    Feb 15, 2025
    13
    梯子问题,换一家。
    4BVL25L90W260T9U
    4BVL25L90W260T9U
    Feb 15, 2025
    14
    @iorilu #11 我用的 jms 从来不限流
    xujiang
    xujiang
    Feb 15, 2025
    15
    国内有阿里的魔塔
    https://modelscope.cn/
    基本的 model 都有,支持全速下载
    asly
    asly
    Feb 15, 2025 via iPhone
    16
    好像可以复制下载链接用迅雷下载
    vmebeh
    vmebeh
    Feb 15, 2025 via iPhone
    17
    好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
    pckillers
    pckillers
    Feb 16, 2025
    18
    直接去 modelscope 下载。 一般都有人分流。
    milkpuff
    milkpuff
    Feb 16, 2025
    19
    我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
    chapiom
    chapiom
    Feb 16, 2025 via iPhone
    20
    可以开类似联通 9929 这样的,国外下载很快
    frandy
    frandy
    Feb 16, 2025
    21
    之前因为这个问题写了个脚本,集成 aria2 还有点问题,没问题
    https://github.com/readmagic/hx
    希望能帮到你
    frandy
    frandy
    Feb 16, 2025
    22
    @frandy #21 迅雷没问题
    ethusdt
    ethusdt
    Feb 16, 2025 via iPhone
    23
    hf 被墙了吗,年前我下载模型四个 wget 一起,拉满千兆带宽的,没挂代理。
    bushnerd
    bushnerd
    Apr 2, 2025
    24
    我稍微改进了一下 https://hf-mirror.com/的 hfd.sh 脚本,就是调用迅雷来下载,基本可以达到满速,且支持断点续传,比 aria2 使用起来稳定的多。
    https://gist.github.com/bushnerd/b8ec8c5576a4221696b283b90d1eacb3
    bushnerd
    bushnerd
    Apr 2, 2025
    25
    @bushnerd 忘了说了,thunder.exe 只有 Win 版本的, 因此这个脚本得在 wsl 中使用,调用 Windows 中的迅雷。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2661 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 69ms · UTC 13:45 · PVG 21:45 · LAX 05:45 · JFK 08:45
    ♥ Do have faith in what you're doing.