需求：放在实验室跑一些小模型的验证和代码调试，最终的训练会放到学习的服务器上。对灯光没有要求，越低调越好。
从 B 站抄了一套配置，这是昨天的报价，包邮包安装
想问一下这个价格现在看怎么样，如果等一等 618 会不会降下来一点
还有 32G 内存有没有必要上 64
从 B 站抄了一套配置，这是昨天的报价，包邮包安装
想问一下这个价格现在看怎么样，如果等一等 618 会不会降下来一点
还有 32G 内存有没有必要上 64
This topic created in 911 days ago, the information mentioned may be changed or developed.
Supplement 1 · May 5, 2024
谢谢好哥哥们的建议，对硬件的选择有了更清晰的认识了：
1. 不考虑二手，本身代码的问题就已经够头疼了，没有精力再去折腾可能存在的硬件问题
2. 工作站由于几乎都推荐的二手，而且配套的 gpu 也不是很熟，暂时也不考虑，还是想配一个比较主流的机器，出了问题也好搜解决方案
3. 显卡上败家之眼这个没明白，我理解的不是猛禽才带信仰吗，选的是 tuf
4. 内存会在买的时候根据预算尽可能上个 64G
1. 不考虑二手，本身代码的问题就已经够头疼了，没有精力再去折腾可能存在的硬件问题
2. 工作站由于几乎都推荐的二手，而且配套的 gpu 也不是很熟，暂时也不考虑，还是想配一个比较主流的机器，出了问题也好搜解决方案
3. 显卡上败家之眼这个没明白，我理解的不是猛禽才带信仰吗，选的是 tuf
4. 内存会在买的时候根据预算尽可能上个 64G
Supplement 2 · May 6, 2024
再次感谢各位老哥
有一些人推荐云服务器的，这个暂时不考虑，学校里是有服务器可以免费用的，配置也还行
还有很多人推荐了一些性价比更高的搭配路径，比如至强的 2680v4 、魔改的 2080ti ，看到很多人也收藏了这个帖子，如果你们有兴趣的话可以去试试
就我个人而言，希望组一台比较主流的机箱，尽可能避免遇到一些奇怪的问题，毕业之后也能留下来继续打打游戏，起码五年内不会换机
更新一下配置
2024-05-06 10:40
cpu：i5 14600kf （虽然不超频，但是似乎没看到不带 k 的 1949
散热：雅浚 E6SE 139
主板：华硕 tuf B760M PLUS （有老哥推荐 Z 系列，去查了一下也是超频玩法，但是铭瑄的 B760M 只卖 800 块，不知道区别在哪 1399
内存：金百达 银爵 64G （用的是海力士 A die 颗粒 1399
固态：三星 990PRO 2T （这个看最终剩下的预算了，比之前选的宏碁贵了一倍 1549
显卡：8500 块左右的 4080s ，大概率七彩虹
机箱：199 左右的需要推荐，不清楚兼容性怎么确定
电源：推荐的长城和原配置里的海盗船 850w 都是 799
这样一套下来是 15933 ，剩下 66 块买个 KFC 套餐吃完猛猛装，15999 的预算也是一万五
有一些人推荐云服务器的，这个暂时不考虑，学校里是有服务器可以免费用的，配置也还行
还有很多人推荐了一些性价比更高的搭配路径，比如至强的 2680v4 、魔改的 2080ti ，看到很多人也收藏了这个帖子，如果你们有兴趣的话可以去试试
就我个人而言，希望组一台比较主流的机箱，尽可能避免遇到一些奇怪的问题，毕业之后也能留下来继续打打游戏，起码五年内不会换机
更新一下配置
2024-05-06 10:40
cpu：i5 14600kf （虽然不超频，但是似乎没看到不带 k 的 1949
散热：雅浚 E6SE 139
主板：华硕 tuf B760M PLUS （有老哥推荐 Z 系列，去查了一下也是超频玩法，但是铭瑄的 B760M 只卖 800 块，不知道区别在哪 1399
内存：金百达 银爵 64G （用的是海力士 A die 颗粒 1399
固态：三星 990PRO 2T （这个看最终剩下的预算了，比之前选的宏碁贵了一倍 1549
显卡：8500 块左右的 4080s ，大概率七彩虹
机箱：199 左右的需要推荐，不清楚兼容性怎么确定
电源：推荐的长城和原配置里的海盗船 850w 都是 799
这样一套下来是 15933 ，剩下 66 块买个 KFC 套餐吃完猛猛装，15999 的预算也是一万五
 |
zhandouji2023May 5, 2024 via Android
1
为什么不买工作站？
|
 |
herozzmMay 5, 2024
2
没有 4090 差评
|
 |
3
|
 |
xhuuanniqegeMay 5, 2024 via Android
4
这个主板好像不能超频，你买带 K 的 cpu 用不上吧
|
|
zhandouji2023May 5, 2024 via Android
5
二手 hp z840 内存加满
|
 |
mythabcMay 5, 2024
6
@nidongpinyinme 没有钱还上败家之眼？
|
 |
zhangshineMay 5, 2024
7
按理来说商家 618 前夕都会涨价一波，这个节点确实尴尬😅
|
 |
NoOneNoBodyMay 5, 2024
8
内存不够
|
 |
Inn0Vat10nMay 5, 2024
9
内存加到 256 或者 512
|
 |
TomDuMay 5, 2024
10
哪有败家之眼，不是 tuf 么？
|
 |
paranoiaguMay 5, 2024 via Android
11
搞个服务器平台如何？二手金牌 6138 这种 ，加上 tesla 计算卡
|
 |
LiJieMay 5, 2024 via Android
12
二手工作站吧。内存能上到更高容量。a 系列显卡
|
 |
NI3TECHMay 5, 2024
13
显卡上四张 2080TI 22G
|
|
NI3TECHMay 5, 2024
14
我 13600KF 64G 内存 3060TI 8G 跑 svc ，sd ，chatglm 还可以
|
|
NI3TECHMay 5, 2024
15
推断的时候真是 64G 内存都不够
|
 |
uncatMay 5, 2024 via iPhone
16
B 站瓜皮群主，了解一下
|
|
17
@xhuuanniqege 是的，基本也不会超频用，但是好像没看到不带 k 的合适的 cpu ，大哥有推荐吗
|
|
18
@zhandouji2023 搜了一下，带的显存好小
|
|
19
@mythabc 没上猛禽啊，不然显卡选啥，七彩虹吗
|
|
20
@zhangshine 也不是很着急，可以 618 买，就是不确定行情
|
|
21
@NI3TECH 2080ti 好是好，但是搜了一下都是二手的啊
|
|
22
@uncat 好的哥
|
|
23
@paranoiagu 本身对常规配置就不是很熟，这俩硬件更是没碰过，再叠上二手 buff ，怕是要踩一路坑哦
|
|
24
@LiJie 先不考虑二手了，风险有点高，而且 cuda 是硬性要求，a 卡拿来跑怕是还得做好多适配
|
 |
kaleidoMay 5, 2024
25
我看最近都说，13600kf 性价比还行，而且 14600kf 提升不大，如果跟 146 差价 200 以上就可以考虑 13 代了，省下的几百加内存，对你很有用吧
|
|
26
@kaleido 好的哥，正在考虑从哪抠点预算出来加内存
|
|
mythabcMay 5, 2024
27
@nidongpinyinme 主板换成微星、技嘉的，显卡换成技嘉、七彩虹或者其他二线品牌的，能省一千块。FC140 没必要买全新的，我去年闲鱼收了一个，一百多。把能省的钱省一省，再咬咬牙，上 4090D 。
|
 |
hiphoorayMay 5, 2024
28
跑啥类型的任务？ 16G 显存 OK 嘛？
|
|
29
@hiphooray 图像处理的，机器就拿来跑一下验证，正儿八经训练还是放服务器上
|
 |
paopjianMay 5, 2024
30
2080ti 22g 都是改的,没有新卡了肯定是二手的. 没必要买败家之眼, 去年双十二我 13700KF+Z790P 3448 pdd 下来了
|
|
31
@mythabc 这个牙很难咬啊，4090D 一万三起步了，这预算得干到两万去了吧
|
|
32
@paopjian 我是琢磨硬件水太深，显卡能新就新，不然我也不咋会验机啥的。9000 块的 80s 其实还行，我在京东上看也都要 9000+了，自己组的话就选技嘉或者微星，买他的整机就不换显卡了
|
 |
frankyzfMay 5, 2024
33
看苹果官网，32G 翻修的最低不到 13000 ， 会不会更有性价比？
|
 |
hertzryMay 5, 2024
34
你就老老实实服务器搞吧。
二手工作站便宜大碗还有专业卡，怎么说也有 8 个内存插槽，配上 24G 的 3090 ，你不考虑。扣扣嗖嗖的用 32G 内存，内存显存不加起来，你到时候还要花时间优化数据加载，图什么。机械硬盘也没有，你不怕固态挂了吗，2T SSD 挂载个 tmp 目录读零碎数据差不多，真用几天数据越来越多根本不够用。 |
|
35
@frankyzf 我现在用的就是 mac ，cuda 没法用搞烦了
|
|
36
@hertzry 二手工作站+30 系默认矿，不会整出来太多坑吗，我这不是拿来训练的啊，学校里有服务器可以用，本地调调代码跑跑验证就行
|
 |
EndlessMemoryMay 5, 2024
37
CNN 真太搞了，不使用迁移学习的话，训练起来资源消耗量太大了
|
 |
bugu1986May 5, 2024 via iPhone
38
我刚整完 双 3090 128g 30000
|
|
frankyzfMay 5, 2024
39
@nidongpinyinme 记得 mac 有自己的一套技术和 cuda 对应，好像叫 Apple Metal 什么的，是不兼容吗？
|
|
40
@bugu1986 超了超了，暑假还要出去玩呢
|
|
41
@frankyzf mps ，得改很多配置，主流代码都是 cuda 不行就直接用 cpu 的，好多还必须要 cuda ，而且 mps 也没快多少……
|
|
frankyzfMay 5, 2024
42
@nidongpinyinme 谢谢 op ，因为需要测试加载和 fine-tuning 7b 的模型，之前还想用 mac 来代替 nvidia 的 cuda ，看来比较困难。
|
|
frankyzfMay 5, 2024
43
不过这显卡也真贵啊，16G 就需要 9000 ，估计我自己想试只能暂时租显卡了，等选择多了价格合适再考虑买。
|
|
LiJieMay 5, 2024 via Android
44
@nidongpinyinme 工作站都是 99 新，清明刚买，我说的 a 系列是 nv 的 a 系列。不到 3000 元可以买到戴尔 t5810 ，就是全新的，64G x 2 内存，2680v4
|
 |
mikyweiMay 5, 2024
45
我是装机高手，这个配置说实话杂牌很多，价格高了，建议换下：
内存：推荐闪存颗粒原厂的品牌，三星、英睿达(镁光)、科赋(海力士)；金百达垃圾杂牌。 SSD：一样推荐原厂，基本代表着最高水平，三星、铠侠（东芝）、西数、致钛(长江存储)，宏碁垃圾杂牌。 散热器：风冷基本拉不开差距，剩下的钱都花在静音和灯光上；推荐雅俊 E6 才 139 块钱，压 i5 妥妥的. 电源：海韵、长城的电源都不错，海韵是做服务器电源的但溢价高，长城是老厂家了现在是国企收购了。 主板：这个价格可以买 Z 系列主板了，及时不超频默认频率也比 B 系列高；便宜的推荐白色的铭瑄 MS-终结者 Z790M 和技嘉 Z790M 小雕/冰雕，价格都在 1399 左右。 机箱：你喜欢就好 199 的选择就很多 |
 |
winglight2016May 5, 2024
46
这预算上云啊，足够用个两三年了
|
 |
iixyMay 5, 2024
47
我去年看三星好的 SSD
|
|
48
@frankyzf #43 是的，年底不是说 50 系要出了吗，不急可以等等
|
|
iixyMay 5, 2024
49
楼上没敲完发出去了：我去年看好的三星 SSD 才 3000MB/S ，今年都发展到 7200MB/S 了？
|
 |
50
建议留位置加 4T 或者 8T 的机械盘，一个模型几十 G ，SSD 很快就会满
|
1 |
51
朋友前段时间配的，供参考。
14700KF 盒装、微星 Z790 A MAX 主板、瓦尔基里 280 水冷、佰维 6400MHz 32G （ 16G*2 ） DDR5 内存、4080 Super 魔鹰显卡、振华 850W ATX3.0 电源 固态、机箱自己选吧，还额外装了 4 把机箱风扇 |
|
52
@mikywei #45 内存和硬盘价格一下就拉上来了呀哥哥，超预算了
|
|
53
@winglight2016 #46 不想毕业除了几坨屎山啥也不剩
|
|
54
@gransh #49 每年翻一番很合理
|
|
55
@yplam #50 好的
|
|
56
@CatCode #51 这一套配置我感觉上不去，预算超太多
|
|
CatCodeMay 5, 2024
57
@nidongpinyinme 别去 JD 买显卡 然后看看板 U 套 应该问题不大
|
|
58
@CatCode #57 那去哪买啊，不都推荐 JD 吗
|
 |
YuhyeongMay 5, 2024
59
显存太小，以后碰到稍微大一些的模型或训练会很痛苦
|
|
CatCodeMay 5, 2024
60
@nidongpinyinme JD 显卡溢价太高，除非你能抢到原价公版卡
显卡就去淘宝找找呗 |
 |
dahaoyoubeifengMay 5, 2024
61
内存肯定不够啊。。。
|
|
62
@CatCode #60 好的我去淘宝也看看
|
|
63
@Yuhyeong #59 只能安慰自己大模型放服务器上跑了
|
|
64
@dahaoyoubeifeng #61 32 不够还是 64 不够？
|
 |
quanzanMay 5, 2024
65
需要这么折腾吗？我买了一个 RTX 3090 的整机，目前在做 LLM 的服务器用，详细请参考全赞工程师公众号。
|
 |
charslee013May 5, 2024
66
如果只是跑一些小模型或者作业之类的，我更加推荐用云 GPU 更划算
以 autodl 里的 4090 为例子，CPU 是 12 核 Xeon(R) Platinum 8352V,内存是 90GB ，每周的价格为 342 元，一个月下来优惠价格是 1276 元，一年也就 13176 元，这个价格比 1 万 5 的主机还要便宜一些 而且考虑到实验室有专门的机器来跑正式的作业，云上 GPU 在不运行的时候可以关掉更加省钱，并且显存不够还可以换其他机型这个是本地无法比较的优势 当然以上都是建议，希望能帮助上 OP 的需求。 |
 |
osilinkaMay 5, 2024
67
Intel 换 AMD 类似的吧，感觉 intel 现在性价比很低很低了
|
 |
mumblerMay 6, 2024
68
做任何关于 AI 的事，显存大小都是关键，核心数量没有显存重要，16G 能干的事太少了。我 4000 多配了一台洋垃圾 E5 18 核心+64G 内存+2080ti 22G ，跑模型比你这台性能强。代码有 gpt4 ，谁还手动写
|
 |
waklealoneMay 6, 2024
69
@mikywei 金百达银爵用的也是海力士 A-Die 颗粒,差别不大的
|
 |
70
@nidongpinyinme #24 a 系列显卡不是 amd 显卡
|
 |
fuwenpeiMay 6, 2024
71
4080super 好价 8300 一般 8500 ，你这都 9k 了
|
|
72
@charslee013 #66 主要是配的主机毕业了还能接着用，租的服务器用完就没了
|
 |
fredweiliMay 6, 2024
73
谁出钱？必须要买么？ 32G 能跑的大模型也不怎么样
|
|
74
@fuwenpei #71 好的，这个价格是七彩虹的吗
|
|
75
@mumbler #68 好哥哥抄个配置
|
|
76
@fredweili #73 自己买自己用，没说要在本地跑大模型啊
|
|
77
@LiJie #44 谢谢哥，有推荐链接吗，淘宝看了一圈没有价格对得上的
|
 |
cexllMay 6, 2024
78
内存太低了 32G 不够的 其次就是硬盘要求也挺高的 最好买稳定 速度快的，这个配置玩游戏还可以
其实如果是短期玩，可以直接订阅 google colab |
|
79
@cexll #78 是的， 更新了配置，给内存加到 64 了
|
|
80
@nidongpinyinme 是，入门非盖的，比如 ultra w oc 这个水平，40 系比 30 的能耗低很多，不用堆料太高级
|
|
81
@fuwenpei #80 好的
|
 |
hjbMay 6, 2024
82
我也计划 618 整一台，显卡选 4070ti super ，
|
|
hiphoorayMay 7, 2024
83
@nidongpinyinme 啊，那真是羡慕了，我推理还只能用 3060
|
|
84
@hjb #82 我也在犹豫，显卡上砍下来一点可以把存储拉高一点
|
 |
man2vecMay 8, 2024
85
16G 显存，跑个 8B 的 LLM 都跑不动，更别说训练了。
还不如搞个 64GB 内存的 mac 啥的。 |
|
86
@man2vec #85 你是真不看需求文档啊
|
|
man2vecMay 8, 2024
87
@nidongpinyinme #86
真有这个必要吗？学校延迟超低的吧，vscode 之类的用 remote server 就直接可以在服务器上写代码调试之类的。难道你们计算资源用 slurm ？ |
|
88
@man2vec #87 学校的服务器每次用需要提前申请，还要排队什么的，不太方便
|
 |
lchynnMay 28, 2024
90
@nidongpinyinme #63 你大模型是跑 10B 以下的还是 70B, 110B 这种的？ 如果是后 2 者， 你就是量化 Q4 ，你这个显卡也推理起来够呛， 如果是只有几个 B 的，比如 GEMMA, PHI3 这种的。 拿 AMD 8845 或者 INTEL ULTRA 核显都推理的飞快。 如果你要微调大模型（ SFT ）？ 我觉得消费级显卡，基本没啥关系吧， 哪怕你买了 4090 ，也够呛。
|
Select Language