显存是够的（多卡），但架构有限制（ SM_89 ）
This topic created in 137 days ago, the information mentioned may be changed or developed.
 |
wwhcJun 19
1
等 llama.cpp 合并 Deepseek v4 的补丁到主线吧
|
 |
2
|
1 |
BaiLinfengJun 19
3
还是那句话 Deepseek 被神话了，我感觉也就那样
|
 |
gpt5Jun 19
4
公司有几张这卡，显存是可以，但架不住慢啊。
|
 |
WizardLeoJun 21
6
@BaiLinfeng
历史地位这一块，deepseek-r1 让开源模型全面进入推理时代，v4 让开源模型全面进入 1m 上下文时代。 商业能力这一块，我感觉和小米在小家电的地位差不多。作为市场最低门槛线而存在的模型，比它差还贵就没多少存在意义了。 无论如何都是开源 llm 历史上非常浓墨重彩的一款模型。 |
 |
coefuJun 22
7
@BaiLinfeng deepseek 的意义在于，不在硅谷，也能搞的出和硅谷扳扳手腕的 LLM ，祛魅之前对硅谷的亦步亦趋。
|
 |
zzutmebwdJun 23 via Android
8
llama.cpp 并不限制计算能力啊
|
 |
9
谢谢各位的推荐，主要是生产用，不敢用 llama.cpp 这种推理框架
|
 |
10
|
 |
11
试试我这个 https://github.com/wtdcode/vllm-backport 正确性问题基本都解决了
|
Select Language