Hue中Sqoop导数报错Could not load db driver class: com.mysql.jdbc.Driver

前言

在Hue上面测试一个很简单的Sqoop

import
--connect
jdbc:mysql://10.169.xx.xxx/test
--username
root
--password
root
--as-textfile
--columns
id,name,english,chinese,math
--table
exam
--target-dir
hdfs://master02:8020/tmp/test
--check-column
id
--incremental
append
-m
1

这个代码是在本地测试通过的，我本认为在Hue上可以很轻松的通过，没想到直接报错：

java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver

一看这个bug，刚开始觉得很简单，只要Sqoop获取到jdbc驱动就可以了，可是这个jdbc驱动应该往哪里放啊？还有为什么本地测试竟然可以，而Hue就不行呢？郁闷ing。。。

究竟往哪里放JDBC驱动包呢

往每个节点的/CDH/lib/sqoop/lib下面都放
往每个节点/var/lib/sqoop下面都放
往HDFS的/user/oozie/share/lib/lib_timstamp/sqoop目录下放

不对啊，放在/user/oozie/share/lib/lib_timstamp/sqoop目录下后得重启oozie服务啊

终于成功了…

后记

其实就两步：

1. 将mysql-connector-java.jar上传到hdfs：/user/oozie/share/lib/lib_timstamp/sqoop
2, 重启oozie服务。

还有，在hue的页面上无论出现什么错，总是报如下错误迷惑人：

>>> Invoking Sqoop command line now >>>19:51:10.724 [main] WARN  org.apache.sqoop.tool.SqoopTool - $SQOOP_CONF_DIR has not been set in the environment. Cannot check for additional configuration.<<< Invocation of Sqoop command completed <<<No child hadoop job is executed.
java.lang.reflect.InvocationTargetExceptionat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:410)at org.apache.oozie.action.hadoop.LauncherAM.access$300(LauncherAM.java:55)at org.apache.oozie.action.hadoop.LauncherAM$2.run(LauncherAM.java:223)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:217)at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:153)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:141)
Caused by: java.lang.SecurityException: Intercepted System.exit(1)at org.apache.oozie.action.hadoop.security.LauncherSecurityManager.checkExit(LauncherSecurityManager.java:57)at java.lang.Runtime.exit(Runtime.java:107)at java.lang.System.exit(System.java:971)at org.apache.sqoop.Sqoop.main(Sqoop.java:252)at org.apache.oozie.action.hadoop.SqoopMain.runSqoopJob(SqoopMain.java:214)at org.apache.oozie.action.hadoop.SqoopMain.run(SqoopMain.java:199)at org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:104)at org.apache.oozie.action.hadoop.SqoopMain.main(SqoopMain.java:51)... 16 more
Intercepting System.exit(1)
Failing Oozie Launcher, Main Class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
Oozie Launcher, uploading action data to HDFS sequence file: hdfs://nameservice2/user/xuec7/oozie-oozi/0000000-191219193920246-oozie-oozi-W/sqoop-213e--sqoop/action-data.seq
19:51:10.778 [main] INFO  org.apache.hadoop.io.compress.CodecPool - Got brand-new compressor [.deflate]
Stopping AM
19:51:10.801 [main] INFO  org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl - Waiting for application to be successfully unregistered.
Callback notification attempts left 0
Callback notification trying http://Utility02:11000/oozie/callback?id=0000000-191219193920246-oozie-oozi-W@sqoop-213e&status=FAILED
Callback notification to http://Utility02:11000/oozie/callback?id=0000000-191219193920246-oozie-oozi-W@sqoop-213e&status=FAILED succeeded
Callback notification succeeded

真的蛋疼啊，我在这个上面浪费了太多的时间

后知后觉

忽然在Hadoop实操的微信公众号里搜了一下Hue，才发现这个公众号早就回答了这个问题，以后多多学习

Hue中Sqoop导数报错Could not load db driver class: com.mysql.jdbc.Driver相关推荐

ssm的报错问题------You must configure either the server or JDBC driver (via the serverTimezone conf)
在测试MySQL数据库连接的过程中,产生的问题.(在ssm项目环境下进行测试,使用idea编辑器其): 测试MySQL数据库是否连接成功博客:在spring项目中,测试MySQL数据库是否连接成功_q ...
《一起学习rgbdSLAM》中g2o部分报错的问题
<一起学习rgbdSLAM>中g2o部分报错的问题在高博的<一起学习rgbdSLAM>第六讲中使用到了g2o工具.但是由于版本问题,按照高博的写法来编写代码在编译过程中会报错 ...
anconda安装后命令行中安装tensorflow报错
现象 anconda安装后命令行中安装tensorflow报错 pip install --upgrade --ignore-installed tensorflow-gpu Building wh ...
K.O. -------- Eclipse中Maven的报错处理
----------------------siwuxie095 K.O. -------- Eclipse 中 Maven 的报错处理 1.报错一: A 'Maven Build' configur ...
python无法启动该程序因为计算机中丢失_python报错：无法启动此程序，因为计算机中丢失...
原标题:python报错:无法启动此程序,因为计算机中丢失 python报错:无法启动此程序,因为计算机中丢失api-ms-win-crt-runtime-|1-1-0.dll api-ms-win- ...
python无法启动此程序因为计算机中丢失_python报错：无法启动此程序，因为计算机中丢失...
原标题:python报错:无法启动此程序,因为计算机中丢失 python报错:无法启动此程序,因为计算机中丢失api-ms-win-crt-runtime-|1-1-0.dll api-ms-win- ...
Eclipse中启动tomcat报错:A child container failed during start
我真的很崩溃,先是workspace崩了,费了好久重建的workspace,然后建立了一个小demo项目,tomcat中启动却报错,挑选其中比较重要的2条信息如下: A child container ...
Eclipse和MyEclipse使用技巧--解决MyEclipse中的js报错的小方法
今天,下了个模版,但是导进去的时候发现js会报错.看了下其他都没有错误.而有一个js报错误,请原谅我有点红色强迫症,不能留一点红色 . 错误如下: Syntax error on token &quo ...
python下载库报错_下载python中Crypto库报错：ModuleNotFoundError: No module named ‘Crypto’的解决...
下载python中Crypto库报错:ModuleNotFoundError: No module named 'Crypto'的解决前言最近在网上找了很多下载Crypto的方法,感觉作用都不算很 ...

Hue中Sqoop导数报错Could not load db driver class: com.mysql.jdbc.Driver

前言

究竟往哪里放JDBC驱动包呢

后记

后知后觉

Hue中Sqoop导数报错Could not load db driver class: com.mysql.jdbc.Driver相关推荐

最新文章

热门文章