错误的代价及反思

　　一、前言：每一天的工作都在忙碌中进行着，每个都有着各种憧憬与收荻，现在是多任务多进程的时代，工作也不可避免要同步进行，所以每个人都会因忙而乱，因乱而疲惫，但出现问题后如何处理及避免重复出现是值得思考的，以目前工作中的一个例子进行了简单的总结，感兴趣的可以借鉴（由于第一次写BLOG，格式及语法....)

　　二、问题：由于一直负责相关系统的开发及管理工作，团队的人员负责的系统较多，各系统间的交互及影响也很大，所以对于协作及问题的处理要求很高。

　　　　　目前这里有A系统--负责WMS实时的业务单据处理，B系统--负责线下销售的实时业务，C系统--负责报表及相关数据的分析结算统计等。

　　　　　现在的问题是A产生的源数据由于程序BUG导致错误，从而B与C均受到了影响，最令人沮丧的是错误已经产生了近一周才发现，问题的严重性不言而喻。

　　三、影响：导致数据统计及分析统计数据均有影响，金额的错误对于任何公司来说都是零容忍的，试问：银行账户或余额宝错了，元芳你怎么看，估计会一脸萌逼了：（。

　　四、初期应对方案

　　　　A、当时对于此次事件，做为直接负责人，采取了紧急处理方案应对：

　　　　1.召集程序负责的同事先分析产生问题原因，确定错误影响范围，尽快修复线上数据，避免后续继续产生问题。

　　　　2.邮件或电话与业务部门反馈，避免引起相关人员的投诉及不停的报障

　　　　3.分析考虑如何修复历史数据，找相关开发人员确定方案准备加班修复

　　　　B、处理进展及结果：

　　　　1.经过以上处理，于当天中午程序BUG问题原因找到并及时更新生产上的程序，解决了第1条;同时与产品和相关业务进行了问题的简单描述，因为不确定影响，具体原因并未说的太清楚。

　　　　2.当天晚上加班与相关同事进行线上历史数据修复（由于涉及数据较多，统计及找出错误数据耗时较长），终于在12:00以后进行了数据的处理，线上数据恢复正常。

　　　　应幸的是，涉及的商品不多，但仍影响了一批数据，前一周的数据仍有些没有想到好办法处理。

　　　　3.结合数据及系统分析，感觉影响不大，所以并未深入分析处理，这对后续的问题埋下了伏笔：（

　　五、二级问题的出现及处理

　　　　A、由于上面处理的问题没有深入分析，凭经验进行了错误处理，所以由于前期错误数据参与计算对于B、C系统产生的影响仍未结束.

　　　　B、问题的爆发:数据分析与财务部门发现数据异常进行报障，经过查明确实是由于前期数据修得不彻底而导致的，此时严重性已经远远超过原来的预期，责任与压力接踵而来。

　　六、终期应对方案

　　　　此时责任和原因已经很清晰，但如何修复仍未能找到好的办法，所以此问题原因、问题及影响要及时汇报给相关领导，从上级进行问题的控制及相关帮助。

　　　　1.向上线汇报，描述原因及影响，同时要给出后续的解决方案（注：领导需要了解问题的同时也要你如何去解决，要有一个方案，否则只说问题不说解决的办法，那么自己去想吧.......)

　　　　2.根据问题深入分析，此时要针对明细数据和细节进行讨论确定如何解决，寻求业务部门的配合，如果有经验丰富的业务同事最好要组织一块讨论，团队的力量还是蛮大的。

　　　　经过几天的讨论，反复考量，终于确定的基本的方案，同时也得到了业务部门相关同事的认可，确定可以按此方案进行处理，下一步就是要落地，尽快执行。

　　　　一朝被蛇咬，十年怕井绳，此时涉及问题的系统开发同事等都比较害怕，此时作为主要的负责人，首先要做的事情如下：

　　　　1.给相关的开发同事解释原因，并向大家说明有错误不怕，改正解决才是主要的，而且所有的系统都不能确定完全正确，消除大家的顾虑。

2.给业务相关人员发送邮件或电话说明解决的问题时间，让相关提出问题的同事知道我们在处理中，态度要诚恳。

　　　　3.带领大家先进行解决方案的细节讨论，不要急于进行处理，避免上次的匆忙而产生的其他影响

　　　　4.讨论和方案要及时沟通，协调相关的人员分头进行，同时要定时汇总，确定大家不要走偏

　　　　5.在整理问题时要有详细的记录，并总结出目前系统或流程不合理的地方以便后续改进。

　　　　经过几天的反复确认，最终出具了最终的解决方案步骤，于今天进行了处理，感谢大家！(写的比较粗，像流水账）

　　总结：

　　　　1.问题不怕出现，怕的是想不出好的办法解决。

　　　　2.责任要敢于承担，冲锋陷阵也是自我保护的一种途径

　　　　3.要总结问题原因，并进行后续的完善，及时安排人员进行。