- 从部署、厂商支持等角度来说
- 200w 以内显卡预算
This topic created in 150 days ago, the information mentioned may be changed or developed.
 |
1
有没有有经验的老哥
|
 |
michaelzxpJun 8
2
摩尔 s5000 的 8 卡整机
|
 |
JiajinJun 8
3
昇腾 910B2
|
2 |
cocogovernJun 8
5
这么厉害的预算，是啥应用啊
|
 |
6
最合适的是 PPU 1 代，16 卡。 最近涨价了预算不知道够不够。
PPPU 2 代，刚发布，8 卡，能买得到应该是最佳。 考虑昇腾系列的前提是，你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ，或者财大气粗让华为的工程师驻场。 |
 |
BabbittJun 8 via Android
7
最近公司也有这需求，预算差不多，想部署 deepseek v4
|
|
8
@cocogovern 这预算算少的了
|
|
9
@DeYiAo 昇腾问题很多吗？
|
 |
yyttrrJun 8
10
除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的
|
 |
skuuhuiJun 8
11
没经验不推荐国产显卡部署，坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司，直接上门安装包售后那种。
|
|
12
@skuuhui 信创没办法
|
 |
13
国产显卡性能差，你即使部署了本地大模型效果也远不如网页版的能力，只能说不清楚需求。
|
 |
vandortJun 8
14
不知道你要部署什么模型，但是现在模型出的这么快，从尽可能支持最新的模型的角度来说，选显存大的，卡内带宽高的（ 200W 也做不了多机互联），厂家支持到位的；符合前面三个条件下，选支持 FP8 ，最好能支持 MXFP4 的；这些都满足的情况下，选省电的，便宜的，能稳定供应的
|
|
15
@Clannad0708 政府项目就这样，领导跟风拍板，最后往往草草了事，样子上说的过去就行。
|
 |
cpperJun 8
16
这种部署最终都是浪费掉的，说实话
|
 |
byteXJun 8
17
哎
信创 |
|
18
@cpper 整条线上的人赚钱了，😃
|
 |
strobber16Jun 8
19
微内核
|
|
20
有经验的老哥可以合作
|
 |
diudiuuJun 8
21
看显存和带宽，合适就买
|
|
cpperJun 8
22
@Flagship9945 因为可以收回扣的
|
|
23
@Flagship9945 并不是他们蠢所以拍屁股做的决策，而是因为可以收回扣，有利益
|
 |
xiaxichenJun 8
24
我测过几家的显卡只能说阿里的 ppu 还是能用的,其他的都不太行.尤其吹的锣鼓震天响的华为.
|
 |
25
政府项目不要瞎搞，你想部署哪个模型，联系对方咨询软硬件环境，人家也乐于多几个样板工程
|
 |
26
纳税人的钱就这么被烧掉了
|
 |
mingtdlbJun 8
27
国产都有哪些 GPU ？华为昇腾、天数智芯，还有哪些，海光好像也有
|
 |
cctvbnm111X1Jun 8
28
如果现在上项目，那必须是昇腾 950dt ，fp8 都不错了，反正有技术支持，其他几个厂都要慢的多，如果你说自己玩，那还是 ppu ，cuda 生态容易点
|
 |
whoopsJun 8
29
有信创要求，你的选择也就这九个，你可以了解一下平头哥，据说比华为的坑少一点，https://www.itsec.gov.cn/aqkkcp/cpgg/202605/t20260526_259396.html
|
 |
songrayJun 8
30
国内的卡基本都是偏科的，建议先去云服务上租不同型号，把自己的 POC 跑通。
|
 |
wskymarkJun 8
31
这东西不是只需要考虑一上指标吗？哪家有利润要哪家的
|
 |
xiaomushenJun 8
34
@Jiajin 这东西只有理论算力。。。实际极难发挥
|
|
xiaomushenJun 8
35
@cpper 又不是你口袋里的钱，有啥浪费不浪费的。哪怕外企里买了 H100 部署，你能保证大部分情况下，不是浪费么？
|
 |
36
@DeYiAo 武汉某高校去年 4000W 用在昇腾身上，技术支持都远远跟不上
|
|
google2023Jun 8
37
@skuuhui 麻烦推荐几家？最好有武汉的，要真正技术实力强的
|
 |
xxmaqzasJun 8
38
我们信创项目都用的昆仑芯 P800 只能说不太好用
|
 |
39
看了好多评论，果然是殖人思想。难道一辈子都要受制于别人吗
|
 |
40
用过海光、昇腾、平头哥。昇腾自建生态加上文档稀烂，体验就是一坨。另外两家 cuda 上能跑的代码随便改改就能跑起来，但比起 n 卡来性能和体验还是要差不少。
|
|
41
总有些人以为是在创新和防止卡脖子，其实背后全是利益和勾兑
|
|
42
@xiaomushen 我每年个人所得税交几十万，还不能关心下蛀虫浪费税收了？
|
|
cpperJun 8
43
有些人揣着明白装糊涂，信创都是些什么东西心里没点数吗
|
|
44
产品选型，不涉及其他的～～
|
|
45
@xiaomushen 外企就是把买的卡扔到水坑里都无所谓，只要不是花的税收的钱。但信创的那些单位花的钱来自于哪里你心里没数？
|
 |
jacketmaJun 8
46
网上不是爆昇腾 910b 、910c 都是 TSMC 代工的 7nm 么（算能科技发包），工艺品控应该可以，就看你这边部署能不能适应软件生态了
|
 |
EngelEyesJun 8
47
七彩虹🐶
|
 |
abel533Jun 8
48
@songray #33 这两家找过多个入口，都看不到能选 GPU 的地方。。想从头在一台机器部署大模型测试，方便提供一个选择型号的入口界面吗？问过 AI ，说有，根据步骤走不通。
|
 |
murmurJun 8
49
阿里 平头哥
|
 |
jokechenJun 8
50
昇腾 910c 部署 deepseek 遇到了一个 bug ，直接影响使用，还是要谨慎些。
https://github.com/vllm-project/vllm-ascend/issues/9170 |
 |
CloudnuYJun 8
52
平头哥也有坑，vllm 镜像只能用内部分发的，启动之后模型时不时出现各种问题（循环、无法调用 tool 、思考链无法控制、答非所问等等）
|
 |
a791633597Jun 8
54
阿里华为我这边都做，部分卡要后台申请开白才能看到，有兴趣可以聊聊
v：dmzzx123 |
 |
LiftmanJun 8
57
如果是有特定的项目，而不是单纯的部署算力需求，我建议你找一家，做成产品，单兵化的设备，他封装好。这样你不需要解释里面是什么牌的算力。。。
|
 |
58
昇腾，kunlun ，ppu ，海光，燧原我都适配过，说实话纯粹就是浪费纳税人的钱，适配这些东西你的狂躁程度会高的离谱，各种你想象不到的问题，而且也没有渠道解决。
比如 kunlun ，他们的 vllm 还是基于 0.15.x 打补丁的，很多新的模型都不适配，然后有些量化的 config 也没有人写，但自己改吧改吧也能用。 昇腾是纯垃圾的骗钱玩意，我都不知道这东西他们自己有没有测试过，对着官方文档都起不来。他们那个 mindie ，cicd 肯定是没有的，上个版本还能跑的东西新版本就跑不了了，硬件也垃圾，动不动就掉卡，买这个就是纯粹给他们当免费测试当小白鼠。 |
|
xiaomushenJun 8
59
@cpper 关心就关心呗，那你能说服北京那边，要求信创单位购买 N 卡么？
|
|
xiaomushenJun 8
60
|
|
xiaomushenJun 8
61
@elehayym1618 昇腾的理论算力只能用在静态图上，比如 TensorFlow,Yolo 上。对付 LLM 这些动态玩意儿，真的无解
|
|
62
@elehayym1618 #58 老哥有兴趣加微信吗，后续有机会可以合作。
|
 |
zcj920Jun 8
63
910B 单机 GLM5 Q8 只有 20tps
|
 |
wildwind2333Jun 8
65
平头哥 PPU 好点 但也一堆问题，还必须阿里工作人员去适配模型，自己目前拿不到测试服务器去适配
|
|
xiaomushenJun 8
66
@xiaxichen GLM5 ，MoE 744B ，激活 40B ，Q8 部署，单卡显存倒是能满足了。这速度嘛。。。很符合昇腾的实际表现
|
|
xiaxichenJun 8
67
@xiaomushen 那还有啥用 都不如直接买充钱买 api 了
|
 |
SnowyParadiseJun 8
68
200W 还是买 token 吧，这点钱不够硬件厂商技术支持费用的，新模型出来打算自己 debug 吗？
|
|
xiaomushenJun 8
69
@xiaxichen 涉密单位不允许连外网呗
|
|
xiaxichenJun 8
70
@xiaomushen 我看阿里云有那种 tokenplan 企业版说是不用回答作为训练数据 这种单开 url 通过应该可以吧
|
|
71
@xiaxichen 没用，涉密单位不能连外网，物理隔离的。所以才需要本地信创算力。
真的是一言难尽啊，再说了，正规渠道层面，老美也严禁出售计算卡给那些单位，抓到后，全球追捕全链路经销商，也是神经病。。。 |
 |
72
感觉这个帖子的讨论很有价值
|
|
JiajinJun 8
73
昇腾 910B2 、海光 K100AI 都用过，推荐昇腾 910B2 。950 我不推荐是因为你 200 万买不了 8 卡
910B2 是能用的。勉强能用的那种。 |
 |
JoveYuJun 8
74
别说国产了，玩 AMD 用 ROCm vLLM 也是差不多的体验
|
 |
pepesiiJun 8
75
@elehayym1618 kunlun ，确实是一坨！文档压根走不通！
|
 |
VeteranCatJun 8
77
别折磨自己， 这些国产显卡的技术支持你个人是获取不到的， 个人使用最好跟着社区的支持来，cuda 是你的唯一稳妥选择，ROCm 你都会和吃粑粑一样难受的。
|
 |
MarioBrosJun 8
78
#find #39
让我想起了光刻机  |
 |
79
真是一堆想润海外，别人都不要的。也就是在国内大家技术素养还不高，没有给一些智商情商有问题的淘汰掉。
真是不知道搁这口嗨能有什么意义，一个正常适配模型的帖子也能键政，看着都恶心。 本来对键政是中立的，没有观点的，看了这么多无脑喷子都开始反感键政的了。 有什么想法就去提，想做什么事就去做，实在不行直接润，搁这影响别人心情。 |
 |
raycoolJun 8
80
阿里的平头哥～
|
|
xiaomushenJun 8
81
@runzekk 也不能这么说呀。总归吐槽吐槽咯，虽然从国家安全的角度上说，能理解信创。但此刻国产计算卡实在是太难用了。而且尤其是 NPU 线路的，当下的昇腾卡，搞基于动态图的 LLM ，哪怕是做推理，也是接近扯淡的存在：累死 AI Infra 打工仔
PS：也理解西大不允许用 Huawei 的通信设备---国安角度 |
|
xiaomushenJun 8
82
@VeteranCat 国安，涉密，信创。这样的大前提下，就别想 N 卡了。捏着鼻子搞国产卡叭...
|
|
xiaomushenJun 8
83
@runzekk 又不是搞 LLM 底层的清北本硕，普通码农打工仔，润出去也没人要啊，只能和老墨一起修草坪
|
 |
jetsungJun 8
84
说是 8 月份上 950DT 。前两天看到新闻说 哈工大深圳 + 华为，还有一个忘记是哪个单位了，联合搞出了个支持 deepseek v4 pro 的。v4 flash 已经支持了。AtomGit 上面有看到
https://ai.atomgit.com/models?ascendNative=true&ascendEcosystem=true |
|
85
@Jiajin 部署起来是不是很麻烦？
|
 |
86
都信创了，还管啥好不好，重要不是结果，而是花经费写 PPT
|
 |
HojiOShiJun 8
87
之前把玩过摩尔线程的卡，跑了一下 llama.cpp ，只能说就是纯电阻丝，毫不夸张。然后它那点可怜的 MUSA SDK 还要登录才能拿到手。
|
 |
mmdsunJun 8
89
你们是做开发？还是只是部署模型？
我们公司买的昇腾 910B ，先开始的 docker 都拉不下来 一看是内网的。。 后面就给个了镜像导出的才部署好。不过好在用着没什么问题 qwen\deepseek 都本地部署过。 |
|
90
@mmdsun #89 我们只要部署好就可以了
|
 |
smlcgxJun 8
91
这个数感觉是写材料用的，试试华为那边能不能梭哈了，你跟领导都省心
|
 |
zhanyingJun 8
92
@Flagship9945 910 系列问题很多，只支持 SIMD
|
 |
93
信创项目选型，图省心直接上**阿里平头哥 PPU**。从帖子里看，PPU 至少延续 CUDA 生态，模型改改就能跑，内部也在吃自己的狗粮，比昇腾的闭门造车强多了。
如果领导点名或只为交差，那就**华为昇腾 910B2**。虽然大家都说文档稀烂、动不动掉卡，bug 也多，但这是政治正确的最优选，且华为有驻场工程师能给你兜底，这 200 万里必须含原厂技术支持的费用。 最后提醒一句：**先别急着买，去阿里云或华为云租几块同型号的卡跑一遍**。国产卡兼容性看命，只有自己实测能跑通你要的模型，这钱才不算白烧。 |
|
xiaomushenJun 9
94
@zhanying 那玩意儿就是个大号 NPU ，根本不适合跑动态图的 LLM 。950 倒是改成 SIMT 了（ GPGPU ），还号称兼容 CUDA ，不知道效果咋样。
我觉得 910 就是 HW 抄袭寒武纪 NPU 后，最终的进化形态。结果发现 NPU 这条楼基本是死胡同，一咬牙改换门庭，走 SIMT 路线 |
 |
ludyleocnJun 9
95
又学到东西了。
|
 |
coolairJun 9
96
我用过华为的昇腾 Atlas 300I Duo 。
评价就是：垃圾垃圾垃圾垃圾！没本事千万别用华为。 生态极其混乱，乱七八糟，文档极其垃圾，狗屁不通。 服务也非常垃圾，有了新卡就放弃旧卡的支持。 NVIDIA 一行命令几秒钟的事，用华为你可能要折腾一个星期。 知道最后怎么搞定的吗？找了一台华为原厂工程师部署好了的机器，查看历史命令和他改的配置文件才搞定…… 也怪自己能力差。 |
|
JiajinJun 9
97
@Flagship9945 大模型部署很简单。专用的中小模型会稍微复杂些，总体还好，难度不大。
|
|
98
@Jiajin #97 我看到部署好像直接是用 docker 镜像？
|
 |
clementeJun 9
99
|
Select Language