Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
caizixian
V2EX  ›  Linux

服务器该选择什么稳定可靠的文件系统

  •  
  •   caizixian ·
    caizixian · May 10, 2015 · 13853 views
    This topic created in 4197 days ago, the information mentioned may be changed or developed.
    开发: Arch Linux、Ubuntu
    部署: CentOS、Ubuntu

    需要一个稳定可靠的文件系统,即考虑到容错、断电恢复、Snapshot之类的。

    之前部署LVM+ext4结果被坑了
    67 replies  •  2016-03-03 17:04:03 +08:00
    kiritoalex
    kiritoalex
    May 10, 2015
    1
    OpenSUSE
    nicai000
    nicai000
    May 10, 2015
    2
    @kiritoalex 答非所问

    RHEL7默认xfs
    HughRyu
    HughRyu
    May 10, 2015
    3
    lz怎么被坑了?单纯的靠fs解决稳定性恐怕鞭长莫及啊。
    存储做具有冗余的raid阵列并且带电池保护,断电也可以把磁盘写入到磁盘中。

    fs选择zfs吧,没有硬件阵列卡,zfs做raid-z也是很给力的。
    快照,容错都很给力了。
    9hills
    9hills
    May 10, 2015 via iPad
    4
    不要尝试在不适合的层面解决问题。

    文件系统生产环境还是推荐Ext 4,冗余和数据可靠性用RAID
    lilydjwg
    lilydjwg
    May 10, 2015
    5
    @HughRyu zfs 太耗内存了……
    caizixian
    caizixian
    OP
    May 10, 2015
    6
    @lilydjwg @HughRyu 没错,有一台生产服务器只有8G内存
    @9hills Snapshot呢?另外RAID5大坑,RAID1的话空间不是太够
    youtoshell
    youtoshell
    May 10, 2015 via Android
    7
    raid5+热备份
    或者直接 raid6
    zonghua
    zonghua
    May 10, 2015 via iPhone
    8
    有钱用windows server
    kslr
    kslr
    May 10, 2015 via Android
    9
    Raid
    powergx
    powergx
    May 10, 2015 via iPhone
    10
    raid5服务器=找死,建议solaris zfs mirror 或者 rz2。配合ssd 的logzilla ,性能很好。如果内存充裕,还能开去重
    9hills
    9hills
    May 10, 2015
    11
    @caizixian RAID5就可以了,想要冗余更多一些,可以用RAID6,或者RAID50

    还是那句话,追求单机的可靠性从来都不是解决问题的根本办法,单点迟早被坑。
    毕竟x86服务器,又不是自带冗余的小型机,天灾人祸不要不要的。

    双机,甚至三机热备才是标准的解决办法。
    ityao
    ityao
    May 10, 2015
    12
    上个阿里云啥的, 每天自动生成镜像
    Septembers
    Septembers
    May 11, 2015
    13
    @9hills 单点故障 简直就是致命伤
    evefree2
    evefree2
    May 11, 2015
    14
    小文件多,还是大文件?
    clino
    clino
    May 11, 2015
    15
    @caizixian
    @powergx raid5有什么坑的地方
    我们都是用raid5+1热备的方式

    我们碰到的最多的问题就是有很多大文件并且有很多读写的服务器,有时候断电或者死机之类的会导致文件系统损坏,随着fs error coount越来越多到一定程度就没办法用了
    这个目前木有好办法解决,只能定期扫描error code,有就尽早fix掉
    rssf
    rssf
    May 11, 2015
    16
    还是zfs比较放心。另外raid5真心不建议,不管软件还是硬件的
    zztt168
    zztt168
    May 11, 2015 via iPhone
    17
    raid5千万不要用,之前网上看过文章,非常不靠谱。硬件raid10,然后热备,比较稳妥。
    lucifer9
    lucifer9
    May 11, 2015
    18
    用raid5就别贪便宜。用SAS别用SATA
    wwek
    wwek
    May 11, 2015
    19
    @powergx raid5服务器=找死 这才是明白人~

    天天喊, 永远记住备份是最后一根救命稻草`
    wwek
    wwek
    May 11, 2015
    20
    @zztt168 这也是明白人`
    powergx
    powergx
    May 11, 2015 via iPhone
    21
    raid5在 重建的时候挂掉第二块硬盘的机率很高。 zfs 不怕断电,只要有足够的内存zfs 就足够牛逼
    ryd994
    ryd994
    May 11, 2015 via Android
    22
    求说说具体遇到了什么
    powergx
    powergx
    May 11, 2015 via iPhone
    23
    曾经服务器硬盘都是72g 147g 重建一会儿,现在 2,3,4,5,6,8t。 raid 5你就祈求重建的几天内不要挂盘
    yakczh
    yakczh
    May 11, 2015
    24
    增量备份
    warmcolor
    warmcolor
    May 11, 2015
    25
    @clino 一方面因为写惩罚性能差一些,另一方面如果同一批次硬盘在重建的时候容易挂第二块
    9hills
    9hills
    May 11, 2015 via iPhone
    26
    @lucifer9 嗯,必须上SAS sata显然不行
    twl007
    twl007
    May 11, 2015 via iPhone
    27
    表示重建好几天的也没问题的路过……
    inter
    inter
    May 11, 2015
    28
    换操作系统,换个有zfs或是类似的健壮现代文件系统的
    c0878
    c0878
    May 11, 2015
    29
    不要在意服务器的文件系统 用虚拟化+分布式存储才是终极解决方案
    raptor
    raptor
    May 11, 2015
    30
    必须ZFS
    wy315700
    wy315700
    May 11, 2015
    31
    XFS好坑。。。
    mN71eOOprFyMsnPx
    mN71eOOprFyMsnPx
    May 11, 2015
    32
    ext4 + 自己的容错机制,比如主从,备份之类的。
    notnumb
    notnumb
    May 11, 2015
    33
    回帖的诸位都是坑。如果ext4不行,其它行?ZFS?
    raid5不行? SAS行? V2也没落了。或者说这里只有前端强。笑尿了。
    notnumb
    notnumb
    May 11, 2015
    34
    认真回帖少又少之。没有人问原因,ext系统发展这么多年,一句不稳定一句带过。
    可以说,那些说SAS好的贬低SATA一点证据都没有。或者有90年代一些过时的论据吧。
    或者说桌面版和企业版没有概念,或者说搞不清楚桌面版本和企业版本磁盘区别。
    notnumb
    notnumb
    May 11, 2015
    35
    最后,再见v2
    yueyoum
    yueyoum
    May 11, 2015
    36
    @notnumb

    V2 上小白很多,
    而且很多人的做法就是 不管什么,先喷
    wy315700
    wy315700
    May 11, 2015
    37
    @notnumb

    @yueyoum

    V2好多人,自以为可以代表互联网活跃用户,
    凡是国外服务都当爹供起来。
    凡是国内服务一概看不起。


    不过EXT4是比较坑,那个日志耗资源又没啥用。

    推荐用XFS,
    不过XFS做raid容易被坑,格式化的时候要指定su和sw值,不然速度特别慢。
    我就被坑到了,现在服务器流量到了300Mbps,结果磁盘吃紧了。
    powergx
    powergx
    May 11, 2015❤️1
    38
    @notnumb SAS 相比sata 只是多了一套接口而已,但是附带的企业盘无故障工作时间是sata 家用的10倍
    ext 读写的时候掉电,会损坏文件系统。 zfs 只掉数据,文件系统不会损坏。
    ioiioi
    ioiioi
    May 11, 2015
    39
    很多人都推荐zfs,是zfs on linux吗,还是on solaris。
    zfs on linux已经稳定到可以应用于生产环境了吗?
    blackbee
    blackbee
    May 11, 2015
    40
    raid卡+bbu;raid5或者raid6+热备,ssd做cache。还不放心的话就双机热备,然后上存储,数据都扔存储里。
    blackbee
    blackbee
    May 11, 2015
    41
    哦 对了 怕断电的话就上ups啊
    likuku
    likuku
    May 11, 2015
    42
    snapshot ? 目前免费的也只有 ZFS堪用了... btrfs 就是个巨坑,LVM的 snapshot 又是传统copy型的,太耗空间且慢。

    zfs on linux ?别逗了。 有钱就 solaris ,没钱就 freebsd

    所谓硬件带冗余raid只能做到 它本身以为数据块正确写入硬盘的程度。
    zfs 本身数据块带校验的,冗余的zfs确保你读写数据都正确,假若底层数据块有错,会拿正确的数据修复重写错误的数据块。

    且“硬件厂商”的非mirror的其他RAID后,硬盘可能未来有兼容性问题(RAID卡坏掉/停产坏掉/没有备件),有可能造成你数据盘就没办法被读写了。ZFS是软件的,不会出这问题,只要你有支持ZFS的系统,就可以顺利读写。
    windyboy
    windyboy
    May 11, 2015
    43
    貌似美国某国家实验室就是用zfs on linux
    项目也主要是他们维护的
    abscon
    abscon
    May 11, 2015
    44
    回答 ZFS on FreeBSD 的其实都答非所问了。

    因为楼主已经指出的那些操作系统全部是 Linux 的发行版,而且也是发在 Linux 节点下的。

    除非楼主考虑换系统。但估计是不可能的。
    likuku
    likuku
    May 11, 2015
    45
    @abscon 存储和应用可以分开啊
    fangjinmin
    fangjinmin
    May 11, 2015
    46
    未来的格式是btrfs。
    ioiioi
    ioiioi
    May 11, 2015
    47
    @likuku
    那zfs on bsd只能通过iscsi来提供块设备给linux咯?
    要么就是nfs等文件存储方式,但是性能上能满足楼主的要求吗?
    powergx
    powergx
    May 11, 2015 via iPhone
    48
    z f s 当然装在solaris上了,比如omnios ,openindiana,nfs 出来或者hba卡出来给服务器用。别忽略了ssd 缓存加速带来的iops 提升
    twl007
    twl007
    May 11, 2015 via iPhone
    49
    用zfs做文件系统请问你们是打算把zfs当文件系统来跑还是当操作系统来跑?
    powergx
    powergx
    May 11, 2015
    50
    @twl007 一台服务器做文件服务器,应用服务器独立出来
    twl007
    twl007
    May 11, 2015 via iPhone
    51
    @powergx ……我囧 这种不如直接买企业存储算了……
    ioiioi
    ioiioi
    May 11, 2015
    52
    同样性能和容量的情况下,企业存储还要要比zfs贵得多。
    当然,如果用于生产环境,有钱的话还得上企业存储,不然出了问题谁替你担着?
    powergx
    powergx
    May 11, 2015 via iPhone
    53
    lz 的关键是随时断电话说除了zfs 还有哪个文件系统顶得住这么bt的需求?
    企业存储价格起码六位数,几千块自己装个solaris 一样稳定好用
    ryd994
    ryd994
    May 11, 2015 via Android
    54
    为何不上UPS 为何不上raid
    lilydjwg
    lilydjwg
    May 12, 2015
    55
    @powergx 断电对 ext4 有那么恐怖吗?我还没遇到或者听说过 ext4 断电损坏的情况呢。
    twl007
    twl007
    May 12, 2015
    56
    @powergx 终极解决方法还是买个UPS然后做好自动关机设定 停电了自动关机……
    KaneLin1217
    KaneLin1217
    May 12, 2015 via Android
    57
    @wy315700 xfs要手动设置swsu值?我用的是CentOS7,装系统的时候,格式化没设置过怎么办😱
    powergx
    powergx
    May 12, 2015 via iPhone
    58
    @lilydjwg 读写的时候断电有可能损坏文件文件分配表,然后就挂了
    wy315700
    wy315700
    May 12, 2015
    59
    @KaneLin1217

    其实,不推荐把系统装在raid上,,,

    一般都是系统单独一个盘,然后数据分区在raid上。。

    我们也遇到这个问题了,但是服务器上线了,没法改了。。。
    KaneLin1217
    KaneLin1217
    May 12, 2015 via Android
    60
    @wy315700 服务器4个500G,2个硬盘做一个 RAID1。然后1个装系统,一个放数据。
    预装XFS,就不知道有没有你说的现象(未手动配置,读写慢)
    w359405949
    w359405949
    May 12, 2015
    61
    自己玩玩的话可以试试btrfs,马上要release了。
    wy315700
    wy315700
    May 12, 2015
    62
    @KaneLin1217 负载多大,IO压力呢
    likuku
    likuku
    May 12, 2015
    63
    @ioiioi NFS性能和可靠性也不差啊。
    前一家公司用的 netapp fs3020 本身就基于 freebsd,一个机头带(光纤)5个磁盘架子(3SATA,2FC) 不间断运行(至少)6年中只换过一块FC硬盘,千兆电口提供NFS服务给我们密集IO(记得繁忙时ops一直在3000+)的web图片服务器和web 主站服务器使用,非常可靠。
    ioiioi
    ioiioi
    May 12, 2015
    64
    我没用过netapp,只是经常听说netapp对nfs优化很有一套,应该是商用领域的no.1。
    notnumb
    notnumb
    Mar 3, 2016
    65
    @powergx 好久没来了,现在才回复。
    主要决定硬盘 URE 参数
    同容量 2TB ~ 10TB SATA Enterprise 和 NL SAS Enterprise URE 是一样的目前都是 10^15
    理论读取上限是 125TB ,详见 HGST 和 SEAGATE 的 spec 文档
    两者盘体是毫无区别的,主要在芯片和接口上的,大部分的 SAS 处理芯片当然都是 LSI 的。

    HGST 小容量 15000rpm 的 SAS 磁盘是 URE 10^17
    希捷很多都是 10^16, 为什么 HGST 卖的贵也是有原因的
    Error rate (non-recoverable, bits read) 10 in 10^17
    https://www.hgst.com/sites/default/files/resources/USC15K600_ds.pdf

    也有 10^16
    Error rate (non-recoverable, bits read) 1 in 10^16
    https://www.hgst.com/sites/default/files/resources/US15K600_DS_final.pdf

    目前 SSD Enterprise 做到了 10^17
    Uncorrectable Bit Error Rate (UBER) 1 sector per 10^17 bits read
    http://ark.intel.com/products/82936/Intel-SSD-DC-S3610-Series-800GB-2_5in-SATA-6Gbs-20nm-MLC


    桌面硬盘都是 10^14

    更进一步的主要原因是 SAS 是 dual port ,传统的 HA ( master-master )需要用到
    SATA single port ,如果你的 HA 是( master-standby )则 sata 足矣
    所谓的 SAS 指令, SATA 也都有相应的对应,只是叫的指令名字不同罢了。丢数据除非是固件 bug ,或者是其它的问题。

    随着对象存储崛起,分布式做的越来越好, SATA 应用场景越来越多。
    应该很多服务器单机一台用了很多 SAS 磁盘,另一个通道是无用的。看场景,但很多情况下,厂商更喜欢 SAS 是因为利润丰厚。

    大家有一定的盲目在里面,没人去搞清楚为什么。
    notnumb
    notnumb
    Mar 3, 2016
    66
    上面形象的比喻是,单控制器+一堆 SAS 硬盘
    powergx
    powergx
    Mar 3, 2016
    67
    @notnumb 商用环境来说 磁盘整列只是保证业务在线率用的, 而且现在已经是 ssd 的天下了。在 ssd 的速度面前, 重建数据的速度已经完全无压力了。
    实在碰到 rp 差到一定的情况, 肯定还有冷备+热备恢复数据。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1905 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 90ms · UTC 16:34 · PVG 00:34 · LAX 08:34 · JFK 11:34
    ♥ Do have faith in what you're doing.