凌晨两点十七分,异常值班运维老周在监控大屏上看到支付网关的联络流程响应时间从80毫秒蹿到3秒。他没急着打电话,异常先打开那张贴在工位隔板上的联络流程A4纸——异常联络流程图。手指顺着箭头走:先确认告警级别,异常再查最近一次变更记录,联络流程然后才拨第一通电话。异常
这张图救过他三次。联络流程去年双十一前夜,异常缓存集群雪崩,联络流程他按流程先联系了DBA组,异常而不是联络流程直接找CTO。事后复盘时有人说“反应不够快”,异常但老周清楚,联络流程如果越级上报,异常DBA组反而会被动等待指令,修复时间至少多二十分钟。
图上的线不是随便画的
异常联络流程图的核心就一条:让信息沿着最短路径到达能动手的人。很多团队把它画成组织架构图,那是错的。架构图讲汇报关系,流程图讲故障响应。我见过一张图,故障发现人先填工单,工单流转到值班经理,经理再分派——等工程师拿到信息,故障已经持续了四十分钟。
好的流程图长什么样?拿我们组那张举例。左侧一列是异常类型:网络、数据库、应用、安全。每种类型对应一个联络人,不是职位,是具体的人名加手机号。右侧是升级路径:五分钟未响应,自动通知备份人;十五分钟未解决,触发主管介入。中间有个菱形判断框:“是否影响核心交易?”如果是,跳过所有中间层,直接拉群。
这个“跳过”是整张图最有价值的部分。它承认了一件事:紧急情况下,层级是负担。
那张纸上的手写备注
我们组的流程图不是打印版,上面有圆珠笔写的字。数据库那栏旁边写着“老张夜班勿扰,先找小李”。这是去年一次事故后加的。老张技术最强,但连续熬夜后判断力下降,有次误判了主从延迟。小李经验少,但凌晨状态清醒。流程图的本质是动态资源调度,不是静态规则。
另一个手写备注在安全栏:“先断网再联络”。这是血泪教训。前年挖矿病毒爆发,值班员先打电话汇报,十分钟后安全组到场,病毒已经横向移动了三台机器。断网这个动作不需要等任何人批准。
联络不是通知,是交接
很多人把“联络”理解成“告知”。流程图如果只画到“打电话通知某人”就结束,那等于没画。真正的联络包含三件事:现象描述、已做操作、期望动作。缺一个,对方就得重新问一遍。
我们要求值班员打电话前先填一个模板:
现象:支付回调失败率从0.1%升至12%
已做:回滚了十分钟前的配置变更,无效
期望:DBA确认数据库连接池是否耗尽这三行字比任何客套话都管用。对方挂电话就能干活。
流程图会过期
每季度我们重画一次。人员会离职,系统会重构,联络方式会变。上个月发现图上的短信网关接口已经下线了,而那张纸还贴在墙上。没人注意到,因为半年没出过需要短信告警的故障。这种“沉默的过期”最危险。
现在我们把流程图做成了在线文档,但老周还是打印一份放桌上。他说屏幕上的图没有手写备注,没有咖啡渍,没有折角。那些痕迹提醒他:这张图是活的,是用故障喂出来的。
凌晨两点三十一分,老周拨通了DBA小李的电话。三分钟后,连接池参数被调大,响应时间回落。他拿起笔,在流程图数据库那栏画了个小勾。这个勾意味着:今晚的故障,流程走通了。
顶: 5踩: 3828






评论专区