原标题：运维必备制度：故障分级和处罚规范

作者简介

《海量运维、运营规划之道》一书作者，关于海量运维、运营规划，我想业界都没有准确的定义，假如说互联网的架构师用能否设计多高的摩天大楼来衡量架构能力，那运维、运营更多的是在关注互联网服务的质量、效率、成本、故障、瓶颈，用户的忍耐、抱怨等问题。

在接下来的日子里，将以质量、效率、成本为核心，从运营规划、管理、流程/规范、系统/平台，监控、告警、安全、优化、考核等几个维度结合案例来与大家分享自己的体会，内容大致如下所示。

编者按：一个好的制度是可操作可执行的，不是高高挂起的。每个公司情况不同，制度需要定期根据公司自身情况进行适当修改，以下文章算是一个制度的模板，仅供参考，要想使用肯定还需要修改。

以前还发过一篇关于运维制度的文章，有兴趣的可以点击查看，

正文

互联网产品提供7*24小时服务，而因人为操作、程序BUG等原因导致服务不可用是影响服务持续运行的重要原因，为了提高各业务产品的运维和运营质量，规范各业务线的服务、故障响应，拟定和发布“故障分级和处罚规范”是非常必要的。

故障分级标准

运营故障中，对非不可抗力所造成的故障归类为“故障”，对于故障将追究故障的分级，故障责任人，及故障处理结果。下面将就各类故障级别进行定义说明，由于故障可能在多方面体现影响，所以故障的综合等级评定原则，取各个方面中严重等级最高者为该故障综合严重等级，故障分级如下所示。

故障分级表

故障分类

等级

业务故障描述

业务可用类

一级故障

业务中断8小时以上

二级故障

业务中断2-8小时

三级故障

业务中断1-2小时，业务核心功能无法使用

四级故障

业务中断1小时以下，业务核心功能受到影响

五级故障

业务中断1小时以下，业务次要功能无法使用

业务安全类

一级故障

系统入侵：核心业务受到入侵，核心用户数据等受到入侵，或者系统文件给恶意窜改，容易引发入侵扩散；

页面窜改：门户网站首页给非法窜改内容、内容涉及危害性极大的；

CGI漏洞：已经引起大面积用户讨论、传播和以之侵害公司品牌利益，或者造成直接经济损失的

二级故障

系统入侵：核心业务受到入侵，未危及重要数据，仅造成扩散隐患但是并未发现有以外的机器系统受入侵的；

页面窜改：业务页面给非法窜改内容、或者小恶作剧；

CGI漏洞：由外部发现但还没有造成重大危机或者造成经济利益损失的

三级故障

系统入侵：核心业务存在高危端口或者系统漏洞

CGI漏洞：由内部发现但还没有造成重大危机或者造成经济利益损失的核心系统漏洞

四级故障

系统入侵：非核心业务存在高危端口或者系统漏洞

CGI漏洞：由内部发现但还没有造成重大危机或者造成经济利益损失的普通系统漏洞

五级故障

隐患：自身有漏洞，但无重大后果

故障奖惩制度

运营故障处理评定是根据相关责任人对故障的响应、处理、完成结果等因素来对故障的处理情况进行综合评定，部门内会依据这个评定来对故障处罚等级进行调整。该评定只用于由部门内决定的故障处罚分级，公司的处罚条例不受此约束。符合下面条件者，可以对故障处罚等级进行适当降级，具体所降等级由部门领导决定，故障升级制如下所示。

故障升级制度表

评定项

降级标准

升级标准

响应时间

第一时间响应，包括故障的通知，处理，善后等事宜

相关人员一再催促下，责任人仍没有及时对故障进行处理

准备度

对故障发生的原因已有充分的预防机制

对已有发生的问题，或低级错误没有进行预防或规避

处理态度与能力

在最快时间内处理故障，并积极配合其他相关人员的故障处理工作；遇到技术问题积极寻求解决办法和资源支持；

对故障不重视，态度怠慢，敷衍；或没有足够技能进行故障处理

处理结果

系统在最短时间内完全恢复正常运作，故障影响降到最低

故障没有完全解决；或由于处理过程不及时不妥善导致故障影响(范围，金额，投诉量，恶性舆论等)有所扩大

后续措施

对故障发生的原因进行总结，制定同类故障的预防规避措施

拒绝对故障原因(除不可抗力因素以外)进行总结和制定预防/规避措施

对于所出现的各级运营故障，如果运营故障的主要原因由人为工作疏忽/失误所导致，参照以下处罚标准对个人和项目组进行相关惩处，任何运营故障，要及时通报相关领导或相关处理人员，对于延报、瞒报故障者，将从严处罚，故障分级及处罚如下所示。

故障分级表

等级

个人处罚

一级故障

以公司级故障处罚为准(全公司通报，甚至开除)

二级故障

以公司级故障处罚为准(全公司通报，甚至开除)

三级故障

全产品线以及相关小组通报批评，处以2000元罚款

四级故障

全产品线以及相关小组通报批评，处以1000元罚款

五级故障

全产品线以及相关小组通报批评

ps：还有一个《重大故障分析报告模板》，有兴趣的朋友可以订阅号回复zhidu下载

热门文章

欢迎加入运维帮QQ技术讨论群：542812110

快乐分享，快乐生活

商务合作，请加微信yunweibang008

赞唐文

责任编辑：