gtese
V2EX  ›  OpenAI

如果是 3-5 个人自己搭开源模型用什么好?

  •  
  •   gtese · Jul 23, 2024 · 2718 views
    This topic created in 837 days ago, the information mentioned may be changed or developed.
    openwebui 有时候会卡住。
    有推荐吗?
    11 replies  •  2024-07-25 08:50:00 +08:00
    wentx
    wentx
    Jul 23, 2024
    1
    comfyui ?
    gtese
    gtese
    OP
    Jul 23, 2024
    2
    @wentx 不玩生图和视频,只是 gpt 。
    yinmin
    yinmin
    Jul 23, 2024
    3
    Ollama+LobeChat

    开源大模型能达到 GPT 水平的,基本要 700 亿以上参数的 AI 模型,例如:qwen2(72B),对服务器硬件要求不低哦。
    lekai63
    lekai63
    Jul 23, 2024 via iPhone
    4
    目前用 librechat
    利用 hf 、mongo 服务,railway 之类打个配合,确实可以做到不用出自己的服务器
    gtese
    gtese
    OP
    Jul 23, 2024
    5
    @yinmin 手里 2 路 4210 ,256g ,rtx5000 不要求 72b 。14 ,22 就可以了
    kangfenmao
    kangfenmao
    Jul 23, 2024
    6
    Ollama + Cherry Studio

    💡模型支持:

    1. OpenAI
    2. SiliconFlow
    3. deepseek
    4. 零一万物
    5. 智谱 AI
    6. 月之暗面
    7. OpenRouter
    8. Groq
    9. Ollama
    10. 百川智能
    11. 阿里云 DashScope
    12. AiHubMix
    13. Anthropic

    https://hao.logosc.cn/p/3748
    yinmin
    yinmin
    Jul 24, 2024
    7
    试试这个组合,体验度不错的:Ollama + one api + ChatGPT-Next-Web
    或者 Ollama + ChatGPT-Next-Web
    hkshawn
    hkshawn
    Jul 24, 2024
    8
    给你个免费的 别纠结了

    api.66d.eu
    gtese
    gtese
    OP
    Jul 24, 2024
    9
    @hkshawn 广告滚粗
    hkshawn
    hkshawn
    Jul 25, 2024
    10
    @gtese 有本事你别用啊
    gtese
    gtese
    OP
    Jul 25, 2024❤️1
    11
    @hkshawn 有本事的门槛这么低。。。。笑。。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   821 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 23:36 · PVG 07:36 · LAX 15:36 · JFK 18:36
    ♥ Do have faith in what you're doing.