Noby
V2EX  ›  Local LLM

目前哪个大模型适合本地部署用来纯翻译?

  •  
  •   Noby · Jul 3, 2025 · 7691 views
    This topic created in 489 days ago, the information mentioned may be changed or developed.

    目前用的 qwen2.5:3b 设置本地浏览器的沉浸式翻译插件搭配 ollma 翻译,但是我的 m2 性能可能有些不太行,翻译还是要等一会。现在国内的大模型应该也有比较适合翻译,并且比较轻量的模型了,大家有什么比较好的推荐吗?或者更好的方案实现网页翻译。

    25 replies  •  2025-09-05 17:42:16 +08:00
    Noby
    Noby
    OP
    Jul 3, 2025
    1
    中英翻译,有时候需要中俄翻译
    DefoliationM
    DefoliationM
    Jul 3, 2025 via Android
    2
    有点难,轻量的效果很差,还不如谷歌翻译。workers ai 有免费的翻译模型,你可以先试试,真不如谷歌翻译。
    newyangnc
    newyangnc
    Jul 3, 2025
    3
    qwen 已经够用了
    Rennen
    Rennen
    Jul 3, 2025
    4
    沉浸式翻译自带的智谱 GLM 也不错吧
    neteroster
    neteroster
    Jul 4, 2025 via Android
    5
    随便搞个豆包 seed 1.6 用就完了,他这个是阶梯定价,输入短便宜的不行,翻译只要是 llm 而且不太小的模型都差不到哪去
    djv
    djv
    Jul 4, 2025
    6
    用 API 就好了, 不想花钱就用智谱
    glm-4-flash
    glm-4-flash-250414
    glm-4v-flash
    glm-z1-flash
    这几个是免费
    glm-4.1v-thinking-flash
    glm-4.1v-thinking-flashx
    可领免费额度的
    或者新用户也有普适的免费额度
    killadm
    killadm
    Jul 4, 2025 via Android
    7
    试换成 qwen3 试试有提升不
    我只用过本地部署的 17b 和 30b ,/nothink 条件下中英效果比 google 好多了。
    yjd
    yjd
    Jul 4, 2025
    9
    使用体验,在线 Qwen2.5-7B-Instruct 确实国产 AI 可能语料原因。翻译要比国外的 ai 翻译要好。
    fredweili
    fredweili
    Jul 4, 2025
    10
    openrouter 上有免费的 30BA3B 用,还有是 ollama
    hoythan
    hoythan
    PRO
    Jul 4, 2025
    11
    要是 API 都能接受直接用谷歌翻译接口不就行了。人家底层也有 Ai 参与
    yidinghe
    yidinghe
    PRO
    Jul 4, 2025 via Android
    12
    如果 3b 的翻译质量能满足你的要求,那完全可以换成免费 API 来用。
    yisheyuanzhang
    yisheyuanzhang
    Jul 4, 2025
    13
    我们生产使用的小米开源的 GemmaX2-28-9B ,翻译效果和速度不错。 优势是小语种对比同规模的通用模型效果好很多

    本地受限于性能的化可以看看 2B 或者 2B 量化模型
    https://huggingface.co/ModelSpace/GemmaX2-28-2B-v0.1
    hwdq0012
    hwdq0012
    Jul 4, 2025
    14
    reddit 的翻译不知道是什么模型可以关注一下, 分不清是贴吧里的网友不审歪果仁了都
    anghunk
    anghunk
    Jul 4, 2025
    15
    目前谷歌翻译好像改进了一些算法,质量比之前好太多,而且速度比 api 快多了
    kero991
    kero991
    Jul 4, 2025
    16
    隔壁有人作了一个翻译模型,可以去看看

    最新版 WiNGPT-Babel-2 终于发布了
    https://linux.do/t/topic/711029


    模型地址 https://huggingface.co/winninghealth/WiNGPT-Babel-2
    还有专门为手机部署准备的 AWQ 量化版 https://huggingface.co/winninghealth/WiNGPT-Babel-2-AWQ
    似乎是用 gemma-2-2b 作为基础模型来训练的,确实很多翻译模型的基础都是这个。
    2b 模型,肯定是不用考虑硬件问题的
    openmynet
    openmynet
    Jul 4, 2025
    17
    glm-4 是真心拉,免费量大管饱的也就 mistral small 了,限制就是 RPS=1 ,tpm=5m
    leeg810312
    leeg810312
    Jul 4, 2025
    18
    还是觉得在线模型翻译更方便,不占用本地资源。轻量和质量只能取舍,现在觉得本地折腾太麻烦了,翻译不好还得自己校对。
    07H56wMvTJUc4rcf
    07H56wMvTJUc4rcf
    Jul 4, 2025 via iPhone
    19
    部署在自己脑子里算本地部署吗
    yyzh
    yyzh
    Jul 4, 2025 via Android
    20
    @hwdq0012 reddit 那个的确感觉超级强.
    wwhc
    wwhc
    Jul 4, 2025
    21
    Qwen3 30B-A3B ,可以直接部署到任何有足够内存的电脑,包括笔记本电脑,使用/no_think 参数生成 token 的速度应该能满足大部分需求
    orzorzorzorz
    orzorzorzorz
    Jul 4, 2025
    22
    直接下 ollama 上的 qwen3:14b-q4_K_M 或者 gemma3:12b-it-q4_K_M 。两者在 4060Ti 16G 下 no think 的表现挺好,至少体感下,速度快,也没那么多机翻感。
    具体讨论可以看看这个 https://github.com/SakuraLLM/SakuraLLM/issues/136 ,能对比一下翻译效果。
    5had0w
    5had0w
    Jul 4, 2025
    23
    或许你可以试试 LibreTranslate ,这个不是 AI 模型,是纯翻译模型
    SSang
    SSang
    Sep 5, 2025
    24
    qwen2.5:3b 都跑不动的话,其他模型应该也不太行了,不然试试 qwen2.5:0.5b ?不然还是调用 API 吧,API 调用的话 qwen2.5-7B 基本上能做到秒级的翻译了。我视频字幕实时翻译和网页翻译现在用的就是 qwen2.5-7B (调用 siliconflow 的 API )
    SSang
    SSang
    Sep 5, 2025
    25
    如果一定要本地的话,可以看看 ggml 的 0.5B 模型,我感觉这个是真有点东西,我本地补全用的 qwen2.5-coder:0.5B ,i3-14100 的 CPU ,占用 30% 左右,也能做到 1s 左右的响应时间。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3075 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 04:42 · PVG 12:42 · LAX 20:42 · JFK 23:42
    ♥ Do have faith in what you're doing.