frankyzf
V2EX  ›  Local LLM

ollama 推出 windows 版的 preview,可以在本地跑大模型,在老机器上跑感觉效果不错

  •  
  •   frankyzf · Feb 16, 2024 · 3319 views
    This topic created in 995 days ago, the information mentioned may be changed or developed.

    ollama 是个可以跑多种大模型的平台,可以跑 llama2, mistral 等。我机器比较老,windows 10 ,32G 内存,只有 2G 显存。但看起来速度还可以接受( mistral ),下载模型也只需要几分钟。安装完用的 mistral ,即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。

    下载链接

    6 replies  •  2024-02-16 14:54:44 +08:00
    imzcg2
    imzcg2
    Feb 16, 2024
    1
    amd 6800h 80%cpu
    reeco
    reeco
    Feb 16, 2024❤️1
    2
    自己编译一下 llama.cpp ,一样的效果
    frankyzf
    frankyzf
    OP
    Feb 16, 2024
    3
    @reeco 谢谢,我试试
    mumbler
    mumbler
    Feb 16, 2024
    4
    太慢了,没用上 avx2 指令集,我自己编译的比官方快得多
    cwyalpha
    cwyalpha
    Feb 16, 2024 via iPhone
    5
    楼主跑的时候应该是用的内存不是显存?
    frankyzf
    frankyzf
    OP
    Feb 16, 2024
    6
    @cwyalpha 嗯,看了下用的是 CPU 而不是 GPU ,可能显存太小了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   767 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 23:12 · PVG 07:12 · LAX 15:12 · JFK 18:12
    ♥ Do have faith in what you're doing.