SQOOP --hive-import 错误（Sqoop Hive exited with status 1）及解决

SQOOP 基础及安装

执行 SQOOP 的 import 到 HDFS 操作时，--hive-import参数的目的是为了将mysql/oracle等关系型数据库中的文件导入到HDFS文件系统时，顺便也导入到 hive 中去。

然而，有时我们增加该参数时，可能会报如下的错误：

13/04/21 16:42:50 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:364)at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:314)at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:226)at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:415)at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:476)at org.apache.sqoop.Sqoop.run(Sqoop.java:145)at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)at org.apache.sqoop.Sqoop.main(Sqoop.java:238)

StackOverflow 上的一个帖子Sqoop Hive exited with status 1，点明了问题所在（HBase与Hive的版本不兼容所致）以及解决方案。

HBase 与 Hive 可在多种级别上出现不兼容的情况，但sqoop ... --hive-import出错是因为二者的 thrift versions 版本不一致造成的。

比如我机器上的版本如下：

[root@hadoop0 ~]# ls $HIVE_HOME/lib | grep libthrift
libthrift-0.9.2.jar[root@hadoop0 ~]# ls $HBASE_HOME/lib | grep libthrift
libthrift-0.8.0.jar

解决方案：

暂时性地将 HBASE_HOME 指向一个别不存在的位置，以使SQOOP不再加载HBase版本的 thrift。

SQOOP --hive-import 错误（Sqoop Hive exited with status 1）及解决相关推荐

linux man手册返回错误 man: command exited with status 159
我的linux版本信息是: ubuntu@VM-8-6-ubuntu:~$ uname -r 4.15.0-142-generic ubuntu@VM-8-6-ubuntu:~$ man -V man ...
sqoop从oracle导入hive分区,sqoop从oracle导入hive Hive exited with status 64
导入命令 ./sqoop import -Dmapreduce.map.java.opts=-Xmx3000m -Dmapreduce.map.memory.mb=3200 --connect jdb ...
sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1
sqoop 导入 hive hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org ...
sqoop从musql导入到hive中数据缺失
sqoop从musql导入到hive中数据缺失 sqoop是大数据架构中常用的数据导入导出组件之一,只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中. 但在实际使用过程中,常常会碰到一些问 ...
python etl工具 sqoop hive_python脚本用sqoop把mysql数据导入hive
转:https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中,该过程主要是通过pytho ...
2.淘宝购买行为分析项目——Hive查询、Sqoop的介绍与使用、SQLyog的安装与使用、Superset的概述与安装使用
1.热卖商品Top10 思路:对于表中,需要求最热卖的商品,其实就是对商品的it进行分组,然后求有多少个用户id出现过(同一个用户可以反复购买,所以不需要去重),排序后再取前10个即可. select ...
执行sqoop 用shell_Mysql和Hive之间通过Sqoop进行数据同步
文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置 CPU数和内存大小查看CPU数 sysctl machdep. ...
Mysql和Hive之间通过Sqoop进行数据同步
文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置 CPU数和内存大小查看CPU数 sysctl machdep. ...
【华为云技术分享】使用sqoop导入mysql数据到hive中
Sqoop 是一个数据转储工具,它能够将 hadoop HDFS 中的数据转储到关系型数据库中,也能将关系型数据库中的数据转储到 HDFS 中. Apache Sqoop,是"SQL to ...

SQOOP --hive-import 错误（Sqoop Hive exited with status 1）及解决

SQOOP --hive-import 错误（Sqoop Hive exited with status 1）及解决相关推荐

最新文章

热门文章