都说运维太难？一文说说故障自愈的那些事儿

背景最近晚上23:00甚至是凌晨总收到告警通知：磁盘可用量低于20%，这个时候不得不爬起来处理告警。当然这里要提醒大家：对于小问题，运维也绝不要抱着侥幸的心理，因为只有痛过才知道。磁盘类告警只是我们诸多告警中的冰山一角，虽然我们有值班人员甚至是运维团队支撑，但是也不能因为这种小问题就分散注意力，这时我们就需要考虑如何通过自动化实现。针对这种情况，我们通常会想到以下几点：在告警机器上设置定时任务；编写脚本压缩日志或清理磁盘空间；这种方案虽然可行，但是试想下：如果我们管理的是上千台机器且目录结构混乱，那么我们面临的将是上千个脚本及定时任务，这个工作量是非常大的。运维累都是有原因的，此时就可以轮到故障自愈出场了。故障自愈如图所示，对于生产故障，运维标准的处理流程是收到告警、 ………………………………