DolphinScheduler无故删除HDFS上的Hive库表目录

亲爱的朋友们，我可爱的同事又搞了个大BUG
待我慢慢道来…
DolphinScheduler大家应该都用过，中国人开源的一个调度工具，类似Azkaban，本次的事情就是在DolphinScheduler上发生的。
据领导描述，某团队负责的某业务数仓上云后，HDFS上的Hive库表目录总是无故被删，他们找不到原因，让我协助处理一下。
本来某业务数仓上云是一个很简单的工作，对于DolphinScheduler上的任务而言，只需要把工作流导出，然后导入到云上的DolphinScheduler，不幸的是XX云上的Sqoop不能用，所以本来用Sqoop的任务需要改成DataX，从而发生了后面的事情。
处理流程：
1.开启HDFS审计
2.日志寻找删库目录操作，没有搜到。因为之前云上环境问题，我已经不相信XX云，现在日志也搜不到，让我更加怀疑是XX云的问题
3.挨个执行任务，每执行完一个看历史数据是否还在
4.定位问题任务，我重复试了几遍，怕自动删除与执行任务时间重合，后来确认就是这个任务问题
5.打印变量（空格看不出来）
6.比对此任务脚本与正常任务区别，没有任何区别
7.注释其它行，定位问题行

hdfs dfs -rm -r -f /user/hive/warehouse/ods.db/${table_name}/*

8.查看审计日志，发现删的不是库目录，而是根目录下的整个/user以及/tmp

DolphinScheduler无故删除HDFS上的Hive库表目录相关推荐

spark如何正确的删除hive外部表【删除表时同时删除hdfs上的数据】？
在spark 2.4.x和hive 3.1.x环境下,spark通过sql (drop table xxx)删除hive的外部表,只能删除hive的元数据信息,但没有删除hdfs上的数据,导致hdfs ...
删除hdfs上的内容报错：rm: Cannot delete /wxcm/ Name node is in safe mode.
问题:在执行删除hdfs上的内容时(hdfs dfs -rm -f -r -skipTrash /wxcm)报错:rm: Cannot delete /wxcm/ Name node is in sa ...
删除mysql中的hive库_Hive删除数据库
本章介绍了如何在Hive删除数据库.模式和数据库的使用是一样的. DROP DATABASE语句 DROP DATABASE是删除所有的表并删除数据库的语句.它的语法如下: DROP DATABASE ...
Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件
摘要 flume打到hdfs上时,按照文件大小生成文件,在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上,hive外部表也会加载这些文件,但是当文件完成后.tmp会消失,这时候hive会报 ...
关于在hdfs上对数据创建外部表的原因
对hdfs 上原始数据创建外部表,然后通过查询插入的方式创建一张内部表,这样相当于复制一份表数据,而原始的数据并没有改变,不会干涉同事使用原始数据. 转载于:https://www.cnblogs. ...
hive查看表中列的信息命令_快速了解hive
作者丨HappyMint 文章选摘:大数据与人工智能这是作者的第7篇文章本文主要针对从事大数据分析和架构相关工作,需要与hive打交道但目前对hive还没有进行深层次了解的小伙伴,希望本文会让你对 ...
Hadoop HIVE 创建表
创建库库名目录描述 default hdfs://hdp20-01:9000/user/hive/warehouse 默认数据库 create database db_test; hdfs:// ...
Hive建表以及导入数据
目录一:内部表和外部表 1:外部表 2:外部表 3:外部表和内部表区别二:上传数据方式一:内部表和外部表 1:外部表内部表基础建表语句一:(默认指定文件类型为TextFile,HDFS路径为/ ...
hive 创建表_2min快速了解，Hive内部表和外部表
在了解内部表和外部表区别前, 我们需要先了解一下Hive架构 : 大家可以简单看一下这个架构图,我介绍其中要点: Hive的数据分为两种,一种为普通数据,一种为元数据. 元数据存储着表的基本信息,增删 ...

DolphinScheduler无故删除HDFS上的Hive库表目录

DolphinScheduler无故删除HDFS上的Hive库表目录相关推荐

最新文章

热门文章