DeepSeek 出来以后我个人在互联网上总是会刷到一些本地部署的相关内容，不明白意义何在
This topic created in 614 days ago, the information mentioned may be changed or developed.
 |
usVexMownCzarMar 2, 2025 via iPhone
1
不联网，针对性优化。涉密是其中一个考虑。
|
 |
wolffcatMar 2, 2025 via Android
2
本质就是和极客一样，明知道蒸馏模型还跑不快最多陪聊机器人还要折腾一番，我想起来搞爱快的那帮人往往没有具体实际的需求。
|
 |
3
目前来看能多花钱就是最大意义，后面说不好
|
1 |
wolffcatMar 2, 2025 via Android
4
庙小妖风大，池浅王八多。
|
 |
whileFalseMar 2, 2025
5
教他涩涩
|
 |
07H56wMvTJUc4rcfMar 2, 2025 via iPhone
6
解除封印
|
 |
mumblerMar 2, 2025
7
只要真想好好用 AI ，必然会遇到数据安全问题，特别是企业应用
严格说 cursor 这种工具有很大安全隐患，内部 api ，算法，key ，数据全要给云端大模型看，不能依赖商业公司自律，迟早需要用本地部署模型替代的 |
|
rqYzyAced2NbD8fwMar 2, 2025
8
@wolffcat #2 爱快可太有具体需求了，我家软路由挂了全家网络都难受（透明代理）
|
 |
NoOneNoBodyMar 2, 2025
9
1. 涉密，假如贵司所有工作报告都经 AI 润色，贵司所有项目的文档都经 AI 管理方便查阅
2. 专用，贵司的项目有垂直深度，需要 AI 适应很多特殊领域术语和文档 3. 自主，本地 AI 是自己控制，联网则受制于人 |
|
wolffcatMar 2, 2025 via Android
10
@LanhuaMa 好吧，我恩山夸张的见得多了，才几十平米搞光纤传输无线 AP ，爱快这边图形化连命令行都没有（刻板影响），我亲身经历在学生时代有人在选修课发群里炫耀一个老旧电脑 300 瓦装爱快，这个 b 恶心坏我了。
|
 |
11
我想看看我的显卡显存和 GPU 全部吃满的样子……让我觉得我这大价钱没白花……
|
 |
13
那种视频是在纯粹在借热度引流吸引人。
不过本地部署确实是个很实用的需求，只不过目前对于个人或一般企业而言部署一个好用的成本太高了。参数低的没啥用，参数高的又部署不起。 场景也挺多的，企业涉密是一方面。 对于个人而言还有各种敏感词审查以及隐私方面的问题，以及官方的各种限制。 我之前有弄个联网搜索的工作流，我就不敢把搜索结果丢国内的 API ，太危险了...像 Github 上有一些专注于各种国内敏感词的仓库的 SEO 还特别高。被封号了还是小事。丢本地 LLM 就不用考虑这些了。 |
 |
billytomMar 2, 2025
14
1 、国内是最不安全的，那几个公司都有把你数据当成他们数据的思想
2 、国外稍微安全些，但就是怕那天突然全面东西分离突然就失联了 = 自己建对于稳定的业务长远的考虑大的，特别是 guojia 级的企业，是必须的 |
 |
plasticman64Mar 2, 2025
15
已经有部分地方公安在本地部署 Deepseek 了
|
 |
julyclydeMar 2, 2025
16
说好听点叫练手
说不好听就是自主知识产权 |
 |
gpt5Mar 2, 2025
17
很多云服务比如 azure 也提供本地部署，不光是 ai 。
|
 |
ioriluMar 2, 2025
18
大公司很多服务都要求本地部署的, 随便啥东西, 更别说什么银行等国企了
|
 |
momo1pmMar 2, 2025
19
你先定义下部署啥样的，不是满血的就别说了
|
 |
paopjianMar 2, 2025
20
核心是卖课啊, 现在视频平台什么火了先想想他们是不是要卖课了, 要不然就是引流, 企业真需要自己部署的早去买服务或者调研了, 我就见过一个套皮 dify 的, 号称全流程自研, 结果买个云服务两毛钱都抠搜
|
 |
LibrolaMar 2, 2025
21
以前本地部署是为了搞涩涩，现在 grok 出来以后涩涩随便写，就再也没有自己部署过了。
|
 |
duanxianzeMar 2, 2025
22
大公司和政府才需要，就是为了不连外网
|
 |
psllllMar 2, 2025
23
因为 服务器繁忙，请稍后再试
|
 |
24
因为酷
|
 |
lovedebugMar 2, 2025
25
意义在于我实现了本地部署 AI ，然后继续用 API
 |
 |
26
现在大部分本地部署 DeepSeek 的，都是引流然后做知识付费的，本质就是蹭一波 DeepSeek 的流量。
|
 |
LaTeroMar 2, 2025
27
有些企业有需求，但是那些视频都是营销蹭流量的，忽略即可。它们练 DeepSeek R1 到底有多大都不知道，随便弄个 14B 的蒸馏小模型糊弄一下，反正目标观众也不会真的去试，毕竟他们看这种视频只是为了情绪价值，顺便骂一下英伟达。
|
 |
laydownMar 2, 2025
28
等待未来。
|
 |
dddd1919Mar 2, 2025
29
如果将来开源 AI 能支持多模态，就可以用盘里的老师们制作出更适合自己的学习资料，这个公网 AI 是绝对没法办到的
|
 |
lthonMar 2, 2025
30
自定义也可以算一个理由吧
|
 |
xvanMar 2, 2025
31
toG 都得私有化部署
|
 |
tsjaMar 2, 2025
32
应付领导对 DeepSeek 的喜爱
|
 |
nomagickMar 2, 2025
33
本地运行的模型，不受 《生成式人工智能服务管理暂行办法》 的约束
|
 |
wangyzjMar 2, 2025
34
数据安全是很重要的一方面
|
 |
EagleyesMar 2, 2025
35
自建 NAS 的意义在哪里？
本地存储好处是，你永远不用担心资源被下架。 |
 |
YishanshanMar 2, 2025
36
我们的系统客户都是银行，全部都是内部系统，这种只能通过本地部署来实现
|
 |
fiveeMar 2, 2025
37
现阶段一个明显的意义就是能够让地方政府或者事业单位合理花钱
|
 |
lpxxnMar 2, 2025
38
让我的 gpu 跑满，心里不是很爽的
|
 |
39
很多地级政府都在推本地部署“一体机”，最多跑个 30B 的模型，采购费用大家都懂。
|
 |
edonyMar 2, 2025
40
2B 场景下，安全问题也是重要的考虑之一。
对企业而言，最重要的是内部数据，你永远无法保证外部的服务会不会保存和利用你的数据。例如，你怎么确定豆包/kimi/千问/DS 等等不会根据你提交的“我出生 xxxx 年 xx 月 xx 日 xx 时 xx 分 xx 秒，身份证号是 yyyyyyyy ，帮我算一下我 2025 的运势”来定向推送广告呢？更何况你给大模型的还有 fine-tune 的时候那些重要的领域数据甚至机密数据。所以企业的做法宁可错杀也不放过 —— 所有的都要掌握在自己手里宁可花点钱自己部署。 |
 |
craftxMar 2, 2025
41
1. “安全”
2. 宏观经济发展需要 3. 懂的都懂 |
|
craftxMar 2, 2025
42
不知道有没有人听说过 当年某地方 gov 采购一批 iphone 当 u 盘
|
 |
civetcatMar 2, 2025
43
平时碰到比较多的大概就是网络问题，隐私问题，以及各种产品本身的限制，本地部署可以很方便的解决这些问题，没有任何限制，可以随意折腾适合自己的。目前本地部署的门槛还是太高了，性能也稍微弱一点
|
 |
uncatMar 2, 2025
44
本地 4 块 3090 。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。 另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。 因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。 |
 |
FelldeadbirdMar 2, 2025
45
你可以自行调教自己的 AI ，前提你有技术和硬件。
大部分公司都没这个能力。然而不少公司却追求：本地部署，生怕错过了时代风口。 |
 |
LeeeeexMar 2, 2025 via iPhone
46
内部微调
我朋友他们公司买了 20 张 4090 10 张 h20 专门训练，针对自己的业务内部训练。 |
 |
pinocc012Mar 2, 2025
47
公司政策是禁止任何数据上互联网，当然也就不能用任何公网的云服务
|
 |
dayeye2006199Mar 3, 2025
48
99%的情况都没啥意义。搞台大点的机器，ollama run 一下不叫本地部署。
数据安全隐私这些东西，最好是靠法律法规来保障。 |
 |
49
原因
 ) |
 |
ccdjhMar 3, 2025
50
其实是有意义的。公司会遇到财务与业务的不对等信息，库存与资金的不对等信息。有些业务员能通过延迟拖欠几十万款项，有些库存的折旧或变卖，能中饱私囊的。信息的公开并不等于老板或决策层能读懂的。不用过万，但凡过千的数据，都需要总结才能读懂。
AI 能让减少缩短这个时间差。让老板和决策层更清晰的知道信息，能压缩到几分钟的事情。 因为工作的拖延性，处理一项事情，拉长几天，或者一个星期以上是很常见的。 AI 可以综合处理，提高决策效率，而且不会有根据自己的利益，对事情的描述的人为偏袒。 |
 |
billwangMar 3, 2025
51
开源了就有人开始“创新”了。某些单位好像部署一套以后就是自己开发的一样，LD 面子也有了，下面政绩也出来了。
|
 |
rammiahMar 3, 2025 via Android
52
2000 块跑满血 671b ，垃圾佬的快乐
|
 |
dododadaMar 3, 2025
54
公司上了规模就会有数据安全的要求，一个是自身发展的需要，一个是安全合规的需要
|
 |
skytenlcMar 3, 2025
55
政务信息
|
 |
yufeng0681Mar 3, 2025
56
企业，单位老生常谈的泄密，隐私保护解决了， 就能迎来一大批的商业化项目 [忽悠上面领导做项目的核心痛点被解决了，可以开始捞钱了]
|
 |
clementeMar 3, 2025
57
LOCAL FIRST
|
 |
levelwormMar 3, 2025 via Android
58
涉密加回答更加精准吧？
|
 |
clinoMar 3, 2025
59
你如果是负责公司安全的人员，或者是某个业务的领导，可能会对因为使用云 api 导致内部信息泄漏的事故负责背锅，那么你在做出放行使用云 api 的时候会不会思虑再三？
更别说涉及政府机关内部信息这种更敏感的了。 这和某个干活的人，知道自己涉及的信息没什么要紧的就随意使用是很不一样的。 |
 |
CodeAllenMar 3, 2025
60
最大的优势就是隐私保护，对于企业来说，尤其是涉密企业，事儿可以不干但千万不能泄露信息。
而且企业的数据，比如内部文档、内部代码，给到外部系统做处理，原则上外部系统是需要保护客户隐私，实际上能不能保护到位那是另外一回事儿，数据不出域是最稳妥的。 |
 |
levnMar 3, 2025
62
1 内容审查
2 保密 3 速度与延迟 4 可以自定义化设定，可以运行自定义的模型、冷门的模型或者微调模型 5 不会因为在线模型换代而破坏稳定性和一致性 |
 |
MYDBMar 3, 2025 via iPhone
63
在线满血版都不能满足我的正确率，更别提本地部署了，非热门领域现阶段还是自己查资料靠谱
|
 |
DigitaIOceanMar 3, 2025
64
形式保密不一定保密
但形式不保密则一定不保密 |
 |
ShadowPowerMar 3, 2025
65
我猜 OP 想问的是：
个人本地部署 AI 的意义在哪里 其实真正的答案是：玩 对于 deepseek 这样的模型，有个好玩的地方。本地部署的话可以在任何位置继续生成，所以有时候可以把思维过程给改了，手动结束思考，然后看看它会回答什么。 |
 |
pkoukkMar 3, 2025
67
楼上的估计没怎么部署过..
整过 sd 和 llm 的告诉你，为了 GHS ！ |
 |
spaceboundMar 3, 2025
68
今年政企行业相关软件开发都在削尖了脑袋搞 DeepSeek 接入，都要体现 AI 的能力。
那好了，遇到的第一个问题就是能不能本地化部署、能不能上信创环境。 |
 |
EndlessMemoryMar 3, 2025
69
不用付钱
|
 |
ryan4290Mar 3, 2025
70
政务还是很需要这个的。
|
 |
DaybyedreamMar 3, 2025
71
本地
|
 |
zhouchengMar 3, 2025
72
就个人来说,要想本地部署的 ai 有不错的性能,需要一个顶级配置的电脑,或者高内存版 macbook pro,不然还是老实用线上的吧
|
 |
HookeryMar 3, 2025
73
军工单位涉密。连外网都连不了。
|
 |
Sting1226Mar 4, 2025
74
本地部署主要就是可控。
|
|
rammiahMar 5, 2025
76
|
|
wolffcatMar 7, 2025 via Android
77
在座的评论区哪一个是涉密单位，哪一个是科研院所，哪一个是集团要求，哪一个批项目经费了？还有提到安全人员避免背锅，哪一个是安全人员，哪一个背了锅？
“安全可控”不过就是意淫一番。 部署有甲方有供应商，用得个人吗？ |
Select Language