deepseek 开源推理框架了

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

https://github.com/deepseek-ai/DeepInfer

看有没有大神优化大幅降低本地部署要求

推理

优化

部署

15 replies • 2026-10-21 10:14:52 +08:00

Jack66

3h 13m ago

应用场景在哪里呢？

askfilm

3h 1m ago

@Jack66 应用场景在：以“技术平权”的方式，把原本属于头部企业的“低成本大规模服务能力”交到了中小国家开发者手中，帮助它们跨越算力与工程经验的鸿沟。

iorilu

2h 55m ago

@Jack66 可能个人弄个十张卡也能部署卖 token 赚钱了啊

这以后可能是个好生意

投资几十万上百万, 不比开店强

GPLer

2h 49m ago via Android

@iorilu 规模效应，理论上不可能比官方便宜太多，那别人为啥不用官方的，用第三方的还要担心降智、隐私泄露

xyzos

2h 46m ago

真 OpenAI

iorilu

2h 38m ago

@GPLer 当然有

三方可能部署非审查模型, 都懂的, 能干官方干不了的事

我估计很快就有很多这种服务出来

以后可能不是中转站的, 就是个人弄几张卡就卖 token

iorilu

2h 38m ago

@xyzos openai 早就是笑话了

这么多年, 毛都没 open 一个

fanxasy

2h 34m ago via iPhone

OpenAI : DeepSeek
CloseAI : OpenSI

Lekou

2h 13m ago

Supported hardware:

NVIDIA SM100 GPUs
Huawei Ascend 950 NPUs

这不是普通人，甚至小企业能玩得起的呀。。

florentino

2h 0m ago

不知道这个框架干嘛用的,看这个: https://mp.weixin.qq.com/s/gA51FfYoAedGGWYnqRNFiw

AIgogo

1h 48m ago

vllm sglang 现在的迭代速度，就知道推理框架一堆人才能玩的转。DS 只是为了上市，在 ppt 上闭环自己的生态，仅此而已

PrinceofInj

1h 46m ago via Android

@fanxasy 支持 deepseek 注册 OpenSI 商标。

zhangli2946

1h 44m ago

@PrinceofInj 为什么不是 OpenDI 或者 OpenDS

Jimmyisme

1h 44m ago

@AIgogo 只支持一个模型和支持一堆模型的工程难度是不一样的。

c0nstantien

1h 28m ago

@PrinceofInj 天父杀天兄啦，哈哈哈