hive-staging文件问题——DataX同步数据重复

1.产生原因

1.使用Hue的界面工具执行Hive-sql。Hue会自动保存sql执行结果方便用户能够查看历史执行记录，所以会在相应目录下生成hive-staging文件；

2.Hive-sql任务执行过程中出现异常，导致hive-staging文件未删除，未出现异常时，hive会自行删除hive-staging文件；

3.使用spark-sql on yarn 跑sql 程序生成的hive-staging文件不会被删除

2.解决方案

1.配置hive-site.xml文件

<property><name>hive.insert.into.multilevel.dirs</name><value>true</value><description>允许生成多级目录</description>
</property>
<property><name>hive.exec.stagingdir</name><value>/tmp/hive/staging/.hive-staging</value><description>临时文件暂放目录</description>
</property>

CDH环境配置

2.使用shell脚本定时删除临时文件

#! /bin/bash#hive-staging文件夹位置
param=$1#获取前一天时间
time=`date +%F -d "-1 days"`#获取待删除的文件
echo 'get files------'
regexp="*{0,}hive-staging_hive_""${time}*"
echo "regexp---""${regexp}"
arr=(`hdfs dfs -ls ${param} | awk '{print $8}' | egrep "${regexp}" | tr '\n' ' '`)
echo ${arr[0]}
for i in "${arr[@]}"
dofile="$i"`hdfs dfs -rm -r "${file}"`
done

3.将shell脚本加入linux定时任务就可以了

vi /etc/crontab
#加入下面命令
01 0 * * * /usr/bin/sh /home/shell-file/test.sh ${你的hive-staging目录} >>${你的日志存放路径}/`date +%F`.log 2>&1

3.参考资料

1.【大数据】hive 删除临时文件 .hive-staging_hive - TurboWay - 博客园 (cnblogs.com)

2.占用_06535.16.1Hive Staging目录占用大量HDFS空间问题分析_weixin_39604819的博客-CSDN博客

hive-staging文件问题——DataX同步数据重复相关推荐

DATAX工具同步数据从hdfs到drds性能优化
问题描述在客户现场运维过程中,使用datax同步数据从hdfs到drds速度极其缓慢,因此希望进行datax的json文件进行优化,提升速度,同步缓慢及报错如下: 问题分析对于datax的使用问题 ...
使用datax同步cassandra数据
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能.最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了d ...
datax 导入数据中文乱码_浅谈数据同步之道
数据同步,顾名思义就是不同系统的数据进行同步处理.而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive.Hbase.MySQL.Oracle ...
DataX离线数据同步
目录 1 DataX 2 ODPS同步数据到HDFS HA 配置 Kerberos 配置域外访问配置 3 HDFS同步数据到另一个HDFS 4 MongoDB同步数据到HDFS 5 带 Kerber ...
使用 DataX 实现数据同步（高效的同步工具）
DataX 使用介绍前言一.DataX 简介 1.DataX3.0 框架设计 2.DataX3.0 核心架构二.使用 DataX 实现数据同步 1.Linux 上安装 DataX 软件 2.Da ...
DataX离线数据同步工具/平台
DataX离线数据同步工具/平台 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.SQL Server.Oracle.PostgreSQL.HDFS.Hive.O ...
datax 持续数据同步_DataX数据同步
因为选择了ElasticSearch做全文检索,需要把数据从数据库同步到es,此处选择开源方案DataX作为数据同步工具. 官方文档很详细,可以直接参考. DataXDataX 是一个异构数据源离线同 ...
基于dataX的数据同步平台搭建
前言基于Java和DataX工具实现数据同步的后台管理,包括数据同步任务的生成,任务的管理,查看任务的执行日志,解析任务的执行结果等功能. 内含一些技术实现方案.心得体会和填坑经验等干货. 阅读本文 ...
SparkSQL overwrite插入Hive表数据重复问题
问题描述: 使用Spark SQL采用overwrite写法写入Hive(非分区表,),全量覆盖,因为人为原因脚本定时设置重复,SparkSql计算任务被短时间内调起两次,结果发现任务正常运行,造成写 ...

hive-staging文件问题——DataX同步数据重复

1.产生原因

2.解决方案

3.参考资料

hive-staging文件问题——DataX同步数据重复相关推荐

最新文章

热门文章