dw2693734d
V2EX  ›  硬件

如果有几百个 T 的数据,硬件应该如何选配?

  •  
  •   dw2693734d · Jun 10, 2023 · 4859 views
    This topic created in 1244 days ago, the information mentioned may be changed or developed.

    https://i.imgur.com/l33rWFn.png

    准备买 20 个 SN640 8T 放在本地电脑上

    数据库的数据分片在每个硬盘上

    但是电脑接口有限, 怎么把 20 个硬盘连到电脑上?

    27 replies  •  2023-06-16 23:06:54 +08:00
    acctv2
    acctv2
    Jun 10, 2023 via Android
    1
    PCIE 拓展卡就能解决。

    我很好奇个人怎么有几百 t 的高频读取的数据
    dw2693734d
    dw2693734d
    OP
    Jun 10, 2023
    2
    @acctv2 区块链
    labnotok
    labnotok
    Jun 10, 2023 via Android
    3
    不考虑机械企业盘吗,成本低 2/3
    dw2693734d
    dw2693734d
    OP
    Jun 10, 2023
    4
    @labnotok 太慢了😂
    ruixue
    ruixue
    Jun 10, 2023❤️2
    5
    epyc 吧,128 条 pcie ,走转接的方案上 20 来块还是没问题的,就是注意做好散热,u2 的企业盘散热不是那么好压的,即使是最凉快的 sn640~
    Damn
    Damn
    Jun 10, 2023
    6
    SN640 格式化后差不多 7t 可用空间,20*7=140t ,离几百 t 还差了点。
    楼主是不是应该考虑用量天尺( E1.L ,类似 PE8111 这种)?
    GPU
    GPU
    Jun 10, 2023
    7
    @Damn #6 这个 PE8111 个人估计都很难买到。
    YaakovZiv
    YaakovZiv
    Jun 10, 2023
    8
    我自己是借用公司的机柜,搞了一个机架服务器插盘做存储服务器。走光交,自己电脑用塔式服务器插光模块
    0o0O0o0O0o
    0o0O0o0O0o
    Jun 10, 2023 via iPhone
    9
    好奇是做什么链的数据分析需要几百 T ?感觉在意速度的节点应该都是几个 T 就够了,就算是存档节点也要不了这么大啊
    dw2693734d
    dw2693734d
    OP
    Jun 10, 2023
    10
    @0o0O0o0O0o 和 dune 差不多的
    dw2693734d
    dw2693734d
    OP
    Jun 10, 2023
    11
    @ruixue 请恕我见识短浅,我淘宝搜了下,epyc 好像是 amd 的 cpu😂
    seeleling
    seeleling
    Jun 10, 2023
    12
    PCIE 拓展卡解决问题。
    Tianao
    Tianao
    Jun 10, 2023
    13
    楼主需要 Direct-Attached Storage (DAS).
    l1ve
    l1ve
    Jun 10, 2023
    14
    EMC 考虑一下?
    MAKF
    MAKF
    Jun 11, 2023 via iPhone
    15
    多 node ?
    就算是 Archive Node ,啥链几百 T ?求教
    ryd994
    ryd994
    Jun 11, 2023 via Android❤️2
    16
    @dw2693734d 人家就是让你买 epyc 的 CPU 和配套的平台
    pcie 通道数受 CPU 限制。一般桌面平台只有 20 条,也就是 5 块盘,每块 x4 lane 。而且显卡也需要 pcie ,你插满 20 lane 就不用干别的了。
    服务器平台都是 40 条 128 条这样。如果不够还能双 CPU 。

    桌面平台一定要怎么办,也有办法,plx switch 。但是这个芯片很贵。而且不能增加总带宽,只是能多设备共享带宽而已。所以完全不值。

    如果你对 CPU 性能要求不高的话(比如 GPU ML ),那可以用洋垃圾平台,也就是上一代或者上几代的服务器平台。白菜价。单核性能差,不适合打游戏。但是堆核心打打桌面平台还是不成问题的。
    如果对 CPU 性能要求高,那就只能花钱买新服务器了。
    ltkun
    ltkun
    Jun 11, 2023 via Android
    17
    pcie 直通卡 几百块都可以直接连 配合硬盘笼串联 咸鱼搜硬盘笼 几千就可以 100 多块硬盘
    dw2693734d
    dw2693734d
    OP
    Jun 11, 2023
    18
    @ryd994 多谢大佬
    dw2693734d
    dw2693734d
    OP
    Jun 11, 2023
    19
    @MAKF 把节点的数据转到 Postgres 里,查考 dune, k 线,交易记录之类的
    ruixue
    ruixue
    Jun 11, 2023
    20
    @dw2693734d 是的,#16 已经帮忙解释了,家用平台 pcie 通道数有限,没有特别好的方案能充分发挥 20 块 sn640 的速度,只能直接换服务器平台,而 epyc 是比较合适的选择
    littleJohn
    littleJohn
    Jun 11, 2023❤️1
    21
    我的天 和我女朋友一样的头像 吓得我以为她会逛 V 站了
    opengps
    opengps
    Jun 11, 2023 via Android❤️1
    22
    有扩展卡,但是扩展卡增加数量时候也有不足
    最好的方案还是买昂贵的存储设备,甚至可以放一块盘用
    Rendex
    Rendex
    Jun 11, 2023❤️1
    23
    咸鱼上有一个 pcie 转 20 固态的拓展卡,看能不能搜到。好像是戴尔服务器拆机的。
    大容量的话算是一个思路吧
    deorth
    deorth
    Jun 11, 2023 via Android
    24
    买华为 Dorado 18500 v6
    honeyjuice
    honeyjuice
    Jun 14, 2023❤️1
    25
    1.你需要找个机箱 能有 20 盘位的先
    2.然后上 epycCPU 和相应的主板
    3.接着去买 pcie 转 U2 然后主板设置好拆分
    7D12 这种阉割版有 64 条 pcie ,其他满血版有 128 条
    4.最后就是慢慢扩,关键是还得找个优雅好看的 20 盘机箱,为了优雅还要全 U2 背板
    dw2693734d
    dw2693734d
    OP
    Jun 14, 2023
    26
    @honeyjuice 专业啊膜拜了
    BitGeek
    BitGeek
    Jun 16, 2023
    27
    如果是企业方案的话有种东西叫做存储机,就是有一大堆硬盘位一般为 4u 高度的设备,其作用就是给服务器扩展硬盘,但是我在并没有实际体验使用过这个东西,只是听说过,楼主可以网上搜下这种方案
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2503 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 131ms · UTC 15:12 · PVG 23:12 · LAX 07:12 · JFK 10:12
    ♥ Do have faith in what you're doing.