PeiXyJ

Kubernetes 该用什么开源存储

  •  1
     
  •   PeiXyJ · Nov 25, 2024 · 5490 views
    This topic created in 721 days ago, the information mentioned may be changed or developed.

    目前,我们公司正在使用青云的 KES ,不过尚未购买存储服务。目前采用 NFS 方案,但其性能似乎已不能满足我们的需求。因此,我们考虑进行更换,选择了 Ceph 。然而,根据一些反馈,Ceph 的运维难度较大。

    因此,我想请教各位专家,是否有其他推荐的分布式存储方案?(最好是免费的,因为我们公司的预算有限。感谢大家的建议和帮助!)

    Supplement 1  ·  Nov 26, 2024
    买的是青云的 KES,本地许可.部署在集团的 VM 机器上
    29 replies  •  2024-12-23 09:18:40 +08:00
    mightybruce
    mightybruce
    Nov 25, 2024
    1
    提供的信息太少, 分布式存储多的很, 免费还想好用,性能还不错没有这个可能性。
    R4rvZ6agNVWr56V0
    R4rvZ6agNVWr56V0
    Nov 25, 2024
    2
    试试 juicyfs ?
    defunct9
    defunct9
    Nov 25, 2024❤️1
    3
    GlusterFS
    PeiXyJ
    PeiXyJ
    OP
    Nov 25, 2024
    4
    @GeekGao 大佬有在生产环节上用过吗?
    PeiXyJ
    PeiXyJ
    OP
    Nov 25, 2024
    5
    @mightybruce 您说的很有道理,其实就是在免费里面找一个最好的而已...
    R4rvZ6agNVWr56V0
    R4rvZ6agNVWr56V0
    Nov 25, 2024
    6
    @PeiXyJ 没有,我都是用公有云上的。只是之前调研过它
    thet
    thet
    Nov 25, 2024
    7
    GlusterFS+1
    tap91624
    tap91624
    Nov 25, 2024
    8
    用过 hdfs 魔改的,估计和 hdfs 差不多
    joyoyao
    joyoyao
    Nov 25, 2024❤️1
    9
    分布式存储最好不要上 k8s ,数据库之类的可以搞主备方案。分布式存储中网络是最大的瓶颈,如果不是自建物理集群,单独对网络进行优化,性能都不太行, 而且网络优化这一块难度比较大,设备也比较贵。如果用分布式存储的话推荐 ceph 。不过要单独搞个 10G 以上的网口给 ceph 用。主备方案可以考虑 kubeblocks 或者各种数据库 operator 。
    perfectlife
    perfectlife
    Nov 25, 2024
    10
    云上不是可以直接挂在云盘作为 pv 么 ,简单省事
    hutoer
    hutoer
    Nov 25, 2024
    11
    开源里面最好的估计也就 Ceph 了。GlusterFS 小文件性能极差,不适合 k8s 中使用。
    hutoer
    hutoer
    Nov 25, 2024
    12
    我们线上 10 多台存储服务器,跑 Ceph ,还行吧,平常也没啥需要运维的
    COW
    COW
    Nov 25, 2024❤️1
    13
    我建议先从硬盘规格、网络带宽、共享协议这几个方面进行优化,然后再考虑分布式存储方案,Ceph 已经是个比较理想的选择了,运维上确实有一定门槛,而且硬件差的话运维起来会很难受。
    zed1018
    zed1018
    Nov 25, 2024
    14
    mark 一下这个帖子,我们现在在用 nfs ,作为 client 的那个 node 性能指标确实很难看。
    CCIEliu
    CCIEliu
    Nov 25, 2024❤️2
    15
    如果你想方便易用,强推 Longhorn ,甚至有 web 管理页面,全量备份,增量备份,离线备份到 S3 ,多副本,热升级,都行。 用了都说好。
    https://longhorn.io/


    当然如果你想功能完善健壮,那还是要用 ceph+rook
    sunziren
    sunziren
    Nov 25, 2024
    16
    ipfs
    pckillers
    pckillers
    Nov 25, 2024
    17
    目前用腾讯云的 K8s 。 貌似叫 TKE 吧。 储存原来是 nfs 协议的 CFS 服务。 后来跑 ai 就上了个不知啥协议的腾讯自己封装的 cfs-turbo 服务。 插件里点一下,就装好对应的 storage-class 了。 很方便。
    COW
    COW
    Nov 25, 2024
    18
    @CCIEliu longhorn 是块存储设计,如果 k8s 上利用 RWX 共享卷给团队用,相当于走了 nfs + 块存储两层,而 NAS 直接走 nfs 只要走一层,同样的硬件下,性能说不定更慢了
    CCIEliu
    CCIEliu
    Nov 25, 2024❤️1
    19
    @COW
    0. Longhorn 当然是快存储设计,楼主正在寻找分布式存储,Longhorn 即为分布式快存储。
    1. 楼主没说要 RWX ,目前只是已经在用 NFS 的方式提供持久化方案。
    2. 楼主明确说 NFS 已经不满足读写性能, 如果切换 longhorn ,楼主不至于用已经存在性能问题的 NFS 当后端。过两遍存储逻辑。
    3. 也有没在回复中推荐将 NFS 作为 longhorn 的底层存储。
    4. 没明白你单独拎出来这种"如果"想表达什么。
    CCIEliu
    CCIEliu
    Nov 25, 2024
    20
    @CCIEliu *块存储
    COW
    COW
    Nov 25, 2024 via Android
    21
    @CCIEliu 我的意思是 op 可能就不需要块存储的需求,NAS 本身主要就是用于文件共享和备份,是基于 nfs smb 这种文件级协议设计的,如果想找替代品的话,应该是倾向于类似 cephfs 这种文件级的存储方案。
    yuhr123
    yuhr123
    Nov 26, 2024
    22
    试试 juicefs 吧,先用开源版,数据规模大了换商业版。
    kd9yYw2RyhQwAwzn
    kd9yYw2RyhQwAwzn
    Nov 26, 2024
    23
    mark 下 我们也用了 nfs 方案 性能确实差
    PeiXyJ
    PeiXyJ
    OP
    Nov 26, 2024
    24
    @perfectlife 是本地私有化部署的
    d0m2o08
    d0m2o08
    Nov 26, 2024
    25
    ceph-rook 集成到 k8s 集群里
    PeiXyJ
    PeiXyJ
    OP
    Nov 26, 2024
    26
    @d0m2o08 大佬知道 ceph-rook 和 ceph 单独部署在别的服务器哪个稳定性更高. 硬件稳定性不考虑.
    vopsoft
    vopsoft
    Nov 26, 2024
    27
    fastCFS 据说性能不错 就是案例少
    birdhk
    birdhk
    Dec 23, 2024
    29
    是 KSE 吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1979 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 15:28 · PVG 23:28 · LAX 07:28 · JFK 10:28
    ♥ Do have faith in what you're doing.