eric
V2EX  ›  DevOps

下厨房 6 月 26 日数据丢失事故总结

  •  
  •   eric · Jul 3, 2013 · 8977 views
    This topic created in 4886 days ago, the information mentioned may be changed or developed.
    1. 备份节点因故下线长达两个月,一直没有重新启用;
    2. 使用 rm -f 删除备份节点文件,5 分钟后才发现进错了机器……

    全文在这里: http://tech.xiachufang.com/?p=18
    24 replies  •  1970-01-01 08:00:00 +08:00
    lichao
    lichao
    Jul 3, 2013
    1
    我不止一次 shutdown -h 0 然后发现是在服务器上
    eric
    eric
    OP
    Jul 3, 2013
    2
    @lichao 我也试过。后来我给所有生产环境上机器的 PS1 都换了个颜色
    wang2191195
    wang2191195
    Jul 3, 2013 via iPhone
    3
    那个员工怎么样了=_=
    thinkxen
    thinkxen
    Jul 3, 2013 via Android
    4
    我了个去啊~
    Ricepig
    Ricepig
    Jul 4, 2013 via iPhone
    5
    有人发现吗?在这个案例里,信息产业部下属公司数据恢复能力强于阿里巴巴dba团队出来创业的沃趣科技
    skydiver
    skydiver
    Jul 4, 2013 via Android
    6
    @Ricepig 他们两个公司干的不是一个事情。
    kennedy32
    kennedy32
    Jul 4, 2013
    7
    每个这种事故,都有因故没有备份数据库的事件出现
    相似的错误造成一次又一次事故
    master
    master
    Jul 4, 2013
    8
    虽然说操作失误千不该万不该,但最后暴露出来的还是对运维的不重视
    所以这大概是国内很普遍的情况吧,技术团队兼作运维,
    所以因为还有研发的工作在,所以运维的方面即使明知有疏忽,
    还是被一再拖延,直到操作失误才发现没有后悔药
    master
    master
    Jul 4, 2013
    9
    @Ricepig
    觉得对于这个问题讨论公司人员背景好像意义不太大,
    毕竟是误删磁盘数据的恢复工作,这个肯定还是以做数据恢复为主业的公司更擅长一些
    沃趣的关注点毕竟还是放在运维,虽然说删磁盘这种事也算是运维故障
    TonyLiu2ca
    TonyLiu2ca
    Jul 4, 2013
    10
    测试环境很重要吧,生产环境的改变之前要有测试计划吧,测试之后要有升级脚本吧。
    jason52
    jason52
    Jul 4, 2013
    11
    看看那个数据恢复公司成功恢复的案例,令人大吃一惊啊,什么医院,银行等单位运维都是蛮重要的啊
    Ricepig
    Ricepig
    Jul 4, 2013 via iPhone
    12
    @skydiver 哪不同了?
    breeswish
    breeswish
    Jul 4, 2013
    13
    @Ricepig 做的事情是一样的,但是后面一个毕竟是专业做数据恢复的,这跟阿里那个以运维为主的不能比的嘛= =
    sykp241095
    sykp241095
    Jul 4, 2013
    14
    这次下厨房发生了这个事故后,我特意注册了一个 shutdown.sh 域名,请问各位这个域名可以用来做什么。。
    firsthym
    firsthym
    Jul 4, 2013
    15
    深刻的教训
    julyclyde
    julyclyde
    Jul 4, 2013
    16
    @master 我觉得就是人员背景问题。你说的对,初创企业对运维不够重视
    skydiver
    skydiver
    Jul 4, 2013
    17
    @Ricepig 一个是硬盘数据恢复公司,一个是数据库专业服务公司。
    laogui
    laogui
    Jul 4, 2013❤️1
    18
    那个员工怎么样了?有没有被杀害?
    laogui
    laogui
    Jul 4, 2013
    19
    看了这个过程感觉技术好牛X,从硬盘修复中、从内存中、从memcache中、从binlog中、从搜索引擎的快照中。从这几种东西里提取了一堆不完整的数据你们竟然最后可以搞一块去。太佩服你们的技术了。
    apptao
    apptao
    Jul 4, 2013
    20
    @lichao 我也是, 后来我把服务器上的shutdown都改名了.
    clowwindy
    clowwindy
    Jul 4, 2013
    21
    rm -rf 之后文件名没有了,但 MySQL 还在运行,文件没有删除。这时候可以连接 MySQL dump 数据。
    fkccp
    fkccp
    Jul 4, 2013
    22
    @eric
    @apptao
    弱弱问下,你们为啥不改自己的
    cloudzhou
    cloudzhou
    Jul 4, 2013
    23
    @clowwindy 是的,这是很关键的一步,应该文件在所有句柄释放之后进程才真的找不到它,如果是单一的一个文件,是可以 dump 出数据的
    manoon
    manoon
    Jul 4, 2013 via Android
    24
    这个可以发给领导看一下, 数据的重要性. . . .
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2395 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 59ms · UTC 12:26 · PVG 20:26 · LAX 04:26 · JFK 07:26
    ♥ Do have faith in what you're doing.