Hadoop不同版本数据传输distcp问题设置

一：情景

不同版本数据传输的问题
从hadoop2.6传数据到hadoop2.7，遇到了下面问题。

二：报错信息

Caused by: java.io.IOException: Couldn't run retriable-command: Copying webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwel
l/part-00000.bz2 to hdfs://c9/tmp/hive_exportdir/data/201407/20140710/signal-dwell/part-00000.bz2
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:101)
at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:283)
... 10 more
Caused by: java.io.IOException: Check-sum mismatch between webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwell/part-00000.
bz2 and hdfs://c9/tmp/hive_exportdir/.distcp.tmp.attempt_1492021243934_11314_m_000019_0.
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareCheckSums(RetriableFileCopyCommand.java:212)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:130)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:99)
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)
... 11 more

三：解决两种方法

1. 修改hdfs-site.xml

dfs.checksum.type = CRC32

2.加 -skipcrccheck参数

hadoop distcp -update -skipcrccheck hftp://X.X.X.X:50070/user/dd_edw/warehouse/X/dt=2014-04-10 /user/impala/warehouse/1

3.加上-Ddfs.checksum.type=CRC32参数，保持两边一致

hadoop distcp -Dipc.client.fallback-to-simple-auth-allowed=true -Ddfs.checksum.type=CRC32 webhdfs://132.121.97.48:50070/glabel/data /tmp/hive_exportdir/ >glabel_data_distcp.log 2>&1 &

Hadoop不同版本数据传输distcp问题设置相关推荐

hadoop搭建与eclipse开发环境设置
hadoop搭建与eclipse开发环境设置(转) 1. Windows下eclipse开发环境配置 1.1 安装开发hadoop插件将hadoop安装包hadoop\contrib\ecli ...
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）
Hadoop入门(二)--VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置(图文详解步骤2021) 之前在上一篇文章中讲述了 CentOS7下载+VM上安装(手动 ...
spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
版本 spark 3.1.x hive 1.2.x hadoop 2.6.0-cdh-5.13.1 背景由于好多公司的yarn集群用的是cdh版本的,用Cloudera Manager管理的.而截止 ...
hadoop各版本下载地址
地址:https://archive.apache.org/dist/hadoop/common/ 此地址下有hadoop各版本,可直接下载.
hadoop 历史版本下载
hadoop 历史版本下载 http://archive.apache.org/dist/hadoop/core/
群晖 6.1 重置 mysql_群晖6.1版本修改挂载esata设置方法
群晖6.1版本修改挂载esata设置方法 2019-03-29 21:33:26 8点赞 99收藏 23评论是返乡过年?还是就地过年?最新一届#双面过节指南#开始啦!本次征稿活动分为A面返乡和B面就 ...
关于Chrome 69 版本一些改变以及设置
关于Chrome 69 版本一些改变以及设置前几天Google更新Chrome 69版本感觉变化是最大的,很多童鞋都不能适应- 关于Chrome 69 版本一些改变以及设置 Chrome 69浏 ...
hadoop 卡主_HDFS DisTCP执行卡住了,怎么办?
背景我们在进行两个集群间数据同步的时候,使用的是hdfs的distcp的方式进行跨集群跨版本的数据同步,但是在执行hdfs distcp 命令时,发现在运行到 with build listing处 ...
Hadoop集群_Eclipse开发环境设置
1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0 ...

Hadoop不同版本数据传输distcp问题设置

一：情景

二：报错信息

三：解决两种方法

Hadoop不同版本数据传输distcp问题设置相关推荐

最新文章

热门文章