记一次重大的生产事故

高高兴兴上班来，突闻任务大面积报错，经过一番排查，发现服务器上某个用户不见了。

这下可坏了，某azkaban上的所有任务都是切到此用户执行，而且此用户下还有大量的crontab任务，全部都执行不了，包括给大boss发的邮件。

我第一反应是赶紧把这个用户添加上，领导说等ldap自动同步就行，检查了下ldap服务，发现没问题，但是连不上ldap服务器，网络丢包严重，于是我就等网络组处理了~
期间我用其它用户执行脚本，也因为网络问题无法连接。

等啊等，等啊等…
运维老哥等不及了，手动添加了此用户，但脚本还是无法执行。报如下错误：
Exception in thread “main” java.lang.RuntimeException: java.io.IOException: Permission denied
Caused by: java.io.IOException: Permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.createTempFile(File.java:2024)
查了下hive参数hive.exec.scratchdir设置的目录：/tmp/hive
权限没有问题
然后查看hive日志/tmp/xx用户/hive.log，发现要创建本地目录

而此本地目录的用户及用户组全是数字，数字是被删用户的uid和gid，虽然新加用户的名称与被删用户相同，但是id不一样。
解决办法：
修改目录及文件的所属用户和组
当然，报上面的错不一定是同样的原因，具体原因要看日志。

至于用户为什么不见了，运维给出的结论是网络异常，ldap服务器无法访问。这我不太能理解，就算网络不通也不至于删用户吧？被删了无法同步还有点可能。
Anyway，有人背锅就行了，到底是不是人为的不那么重要。

PS:
我测试了一下，只要用户被删，原属于此用户的文件就会变成id

被删前

记一次重大的生产事故相关推荐

transactionManager手动事物管理--记一次重大的生产事故
前言最近在线上环境出现了一个机器总是宕机的问题.就是资源总是耗尽,但是报错的功能点还不一样,每次报错之后都是先重启解决.但是支撑不了一天又会出现资源耗尽的提示.不过,哪个功能出现问题之后,经过仔细的 ...
生产事故 java_记一次生产事故：30万单就这样没了！
背景你好,我是彤哥. 昨天晚上下班回家,在地铁上,老大突然打来电话,B系统生产环境响应缓慢,影响了A系统的使用,几万小哥收不了单,大概有30万单卡住了,你去帮忙定位一下. 我8点半左右到家,立马上线 ...
记一次重大的生产上线事故，借此反思成长
目录写在前面生产上线出现问题问题1:logger日志没打印报错信息问题2:日志打印不全的问题问题3:equals报空指针问题问题4:还是空指针问题问题5:json报文字段上送有误问题6 ...
记一次小型生产事故 | BeyondComper跨编码方式复制文件内容
前言今天组长在做站内巡检的时候,发现header内有一条meta标签的content显示为乱码. <meta name="description" content=&quo ...
mysql grant produce_ERROR 1045 (28000) Mysql中grant 使用不当导致的生产事故
背景: 新项目上线,Data Warehouse 的同事要从Mysql 的SLAVE 库上抽取数据.其中一项任务是授予读取数据库的权限. 没想到这个简单的操作也引发了一些意外. 在只读用户增加权限后, ...
Spring Transactional还能导致生产事故？
在Spring中进行事务管理非常简单,只需要在方法上加上注解@Transactional,Spring就可以自动帮我们进行事务的开启.提交.回滚操作.甚至很多人心里已经将Spring事务与@Trans ...
一个情怀引发的生产事故
在一个项目中,需要轻量级用到脚本语言,来提高应用服务的灵活性.因为知道Roslyn可以动态编辑C#,本着情怀,就自然用Roslyn来处理这块业务了.开在windows上执行,一次调用风平浪静,因为这个 ...
Spring官方推荐的@Transactional还能导致生产事故？
在Spring中进行事务管理非常简单,只需要在方法上加上注解@Transactional,Spring就可以自动帮我们进行事务的开启.提交.回滚操作.甚至很多人心里已经将Spring事务与@Trans ...
记一次线上coredump事故
转自:http://www.likecs.com/show-16439.html 记一次线上coredump事故 1.事故背景上周三凌晨,我负责的某个模块在多台机器上连续发生coredump,幸好发 ...

记一次重大的生产事故

记一次重大的生产事故相关推荐

最新文章

热门文章