硬件成本对比云 llm 已经没法比了，但是看了一眼二手市场 mac mini 依然高居不下
 |
1
qazwsxkevin 19h 9m ago
其实你应该反边界思考，云 LLM 做不到的需求，还是很大的。
|
 |
2
crocoBaby OP  1
@qazwsxkevin 除了 nsfw 没想到别的了
|
 |
3
xjoker 18h 24m ago via iPhone
隐私部署还是要的
比如人事部 财务部 资料不能外泄 |
 |
6
EdwardKot 16h 33m ago via iPhone
最近也确实有此疑问，但是我还是部署了 asr 、ocr 、35B-A3B ，有些小钱能省（但是主要是手头现有的内存还算大，如果是新买专门用于本地部署的肯定不会）
|
 |
7
xing7673 16h 32m ago
mac mini 价格高早就不是本地 llm 需求驱动了，2-3 月还是，但是 4 月后就绝对不是了。
|
 |
10
slowman 15h 2m ago
回到大型机时代了
|
 |
13
YaakovZiv 13h 59m ago
私有化部署，目前的接触比较多的是两份财务统计的场景。医院信息科的测试场景。
|
 |
16
magichan 13h 4m ago
数据安全性在很多公司具有一票否决权，
就像 5 楼说的，数据泄密是很难被证明的， 而且很多公司要求的不是泄密后有赔付，而是不泄密。 |
 |
17
lookenghua 4h 51m ago
云 llm 越来越便宜,但是很多破限的模型也不支持,其次云端有延迟,对于敏感的用户很烦的,本地又不是非要跑那么大的,比如语音输入就很小适合本地跑
|
 |
18
conge PRO |
 |
21
since2021 2h 36m ago
专用的 AI 一体机不是很贵嘛
|
 |
22
lujiaosama 2h 23m ago
@conge 你这医院不是国内的吧。
|
 |
23
ktyang 1h 57m ago
本地部署的需求永远都在，只是说你不是这方面的用户。
|
 |
25
faceRollingKB 1h 5m ago
对于有些公司业务来说，把模型部署在其他公司的服务器上本身就是不可接受的风险
|
 |
26
Cabana 57 mins ago
现在大公司都在搞超节点，个人只能看个热闹了
|
 |
27
msg7086 50 mins ago
「签保密协议」的保密等级有限。真正保密等级高的，要么自建开源模型，要么自建机房然后让对方进驻。
比如我司的云计算产品，别人要采购，他们可能是自己建一个保密机房，然后我们的人进去部署好整个云计算环境，然后他们用。我们这边要访问机房里的环境，必须要政审拿到权限才可以进。要 debug ，得他们的人连上服务器，然后和我们共享屏幕，我们指导对方怎么查日志找问题。 |
 |
28
kkwa56188 49 mins ago
找 Kimi 改简历改出别人的真实简历， 这种事情发生一次就够说明问题了
|
 |
29
Topmax 43 mins ago
mac 部署本来性价比也不高
|
 |
30
lscexpress 40 mins ago
我的 mac 是 64g ，我都不考虑本地部署。
|
 |
31
MoonLin 37 mins ago
@msg7086 私有化部署我经常见，无法访问机房环境的客户我也天天打交道，但是需要政审访问机房环境闻所未闻，你们甲方这么大权力随便发协调函查档案和无犯罪证明？并且组织部还乖乖配合审查？
|
 |
32
hafuhafu 27 mins ago
本地部署小参数本来就是个人折腾着玩的。
公司数据敏感私有化也和 Mac mini 没啥关系。 这东西价格高可能还是因为很多人其实没接触过好奇加一些营销号宣传吧，加上虽然价格不低，但是还在一般人相对可接受范围内。 像 DGX Spark 对于大众就没啥讨论度了哈哈。 |
 |
34
fcten 9 mins ago
32g 开个 codex 都不一定够用...这就没意义了？
|
Select Language