五一节假日期间，有一个同事想本地部署大模型，在群里询问，我们都给他推荐了 Nvidia 的卡，结果他去刷 B 站，选择了 AMD AI MAX+ 395 。
难道小白真的就这样被割韭菜吗？
难道小白真的就这样被割韭菜吗？
This topic created in 92 days ago, the information mentioned may be changed or developed.
 |
101
mashimaroinfo1 May 6
@Vaspike 说这话的人目前正被唾骂, 安徽都不敢给它建塑像。
|
 |
102
c0xt30a May 6
我猜 OP 或者给推荐的同事可能混过卡吧，给出的方案超出预算太多了。
即使年入过百万了，买 NV 系列的硬件部署本地大模型玩也是需要考虑下的。 |
 |
103
simo May 6
还真考虑过 amd 这个方案，主要是价格和功耗，2w 左右，96G 显存，打算纯推理，能部署 glm4.7 flash ，qwen3.6 27B, 跑到 50t/s 就够了。
不知道有这套方案的 v 友，效果怎么样？ |
 |
104
0xC000009F May 6
@babymonster #87 如果是你付钱的话你让我买啥那我就买啥
 |
 |
105
babymonster OP @0xC000009F 买一个能用了，不需要怎么折腾的，最好是有售后技术支持
|
 |
106
squarefong17 May 6
@simo qwen 的 27B 不是 MoE ，就算是 int4 量化也跑不到 50t/s ，任何带宽 200-300GB/s 的机器都不可能，不管你是苹果还是 NV 还是 AMD ，这个价位你能选的，M5 pro 、DGX 、jetson orion 都是四通道 LPDDR5(x)，带宽带宽上限锁死了。这种机器能跑到 30-50tokens 的是 35B-A3B 这种（这个数是 395 和 jetson orion 实测），只激活 3B 、5B 的。如果你真的只考虑 27B 这个规模，买张 48G 的 N 卡更合适，不怕炸的话，4090 48G 了解一下，1000GB 大带宽
|
 |
107
fcten May 6
@babymonster 前半句不适合个人用户看不见？那你咋不给你同事推荐 H100 、H20 呢？预算不够 A100 也行啊？
|
 |
109
obeyatonce May 6 via Android
可能他的需求只是用，而非自己训练，市面上的 ai+395 的机器出厂基本都自带配置好的 ai 软件了，对于不了解的人肯定是直接买这种成品更省心
|
 |
110
leo72638 May 6 via iPhone
NV 好是好，就是太贵了，便宜的卡 VRAM 太少了，大点的模型根本跑不了。相对而言大 VRAM 的 395 便宜不少，速度慢点但是起码能跑。
|
 |
111
greygoo May 6
@Gemini4422335 #3 不了内存你想多了
|
|
113
greygoo May 6
有没有可能就是 mac studio 买不到呢？
为什么适合部署本地大模型要考虑英伟达的卡，现在怎么多 Moe 瓶颈在内存上面，当然是选择 AMD AI MAX+ 395 或者 mac studio 。这个价位不用考虑 Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark ，都是同样的内存带宽。更高的带宽可以选 Mac m3 ultra 但是买不到。所以 395 算是个最优解了。如果要微调或者做其他魔法可能才考虑 nvidia 吧，但是这些任务也可以拿到云上。再说了 AMD AI MAX+ 395 现在又不是不能做微调了，现在也有 wsl 的驱动  ，可以装 windows 兼顾游戏。说实话啊，要是 thor 上面不是那 273GB/s 的带宽，都会无脑选 nvidia 的。 |
 |
114
ntdll May 6
从某种意义上来说，这种选择也没毛病，比如要跑个 70B 甚至更大的模型，民用的 nVidia 卡已经无法满足，专业卡的价格也已经上天。而 AMD/Mac 这类统一内存的架构，至少能跑起来，虽然速度比不上纯显存，但是依旧比炸显存后，用内存来中转的情况下，快的多。
这类产品就是在民用的价格下，提供了一个能运行本地大模型的选择。 |
 |
115
Tony8Finet May 6 via Android
@94
|
 |
117
kennylam777 May 6
@squarefong17 對, 即使是 DGX Spark 這些小機器, VRAM 足夠但跑 20B 以上的 Dense 模型都太慢, 唯一寄望是 Active 單位數字的 MoE
我本地用兩片 3090 + NVLink, 用 vllm 跑 Gemma4 31B FP8 打開 Tensor Parallel, 吃了 800W 電力才剛剛好有 60 tps |
 |
118
SP00F May 7
OP 真的犟啊。。。
用户用脚投票，普通人部署本地大模型自然而然考虑便宜好使的了。 DGX 不比 AMD 的贵？ AMD 我还能关模型打游戏呢，DGX 局限在哪你不看吗？ 我不想本地了我内存还能往二手市场上出，你 DGX 局限性又来了。 好了，你说用专业卡，专业卡多贵？本地又不做训练更不做商业化的服务我要那么多专业卡干什么，我上 AMD 不香吗😂 |
 |
119
dmine May 7
举个例子，我就是 395+gb10 ，
395 用来路上没网小用一下， coding 有 cc ，cursor ，antigravity ， nv 用来试试各种奇奇怪怪的 model |
 |
120
mscsky May 7
windows 各个大模型应用支持 NPU 不？我还以为你说的显卡，买 amdcpu 又是怎么回事？比 amdgpu 性能强？
|
 |
121
xiaomushen May 7
@babymonster 还要售后支持？那 48G 的 4090 也不能用了。真是富哥，人类的悲欢并不相通
|
|
122
xiaomushen May 7
@SP00F 有没有可能，OP 是想大家羡慕他有钱？我现在好奇 OP 开啥车了，是不是保时捷之类
|
 |
123
archxm May 7
这个问题不重要啊。
刚开始当然要做选择题，其实区别也不大。 买来后开始捣鼓，如果能碰撞出火花，进一步扩大，然后融资。有钱了，买更好的，必然全都要啊。 |
 |
124
AIXAPI May 7
其实核心还是看需求：小白要大显存、低成本跑模型，AMD 确实有优势；但要稳定、优化和工具链，Nvidia 还是没法替代
|
|
125
babymonster OP @AIXAPI 点赞👍
|
 |
126
liyafe1997 May 8
@babymonster 2026 年了，还搁着 CUDA 呢...生态早解耦了，CUDA 早就不是护城河了
|
 |
127
94 May 8
@babymonster 所以你们买回来之后到底在本地跑什么，一直不理解。
|
|
128
babymonster OP  1
@94 生图、OCR 、知识库、TTS 、ASR 、ComfyUI 这些可以吗？
|
|
129
94 May 8
@babymonster #128 ，好的，是我太穷了 🙇♂️
|
 |
130
jinsongzhaocn May 12
向国产海光 DCU 过度应该挺方便吧,投资未来 5 年
|
Select Language