hbase 导入oracle,hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase
在cdh hue中使用oozie执行sqoop job时遇到下面的问题。
sqoop命令
job --meta-connect jdbc:hsqldb:hsql://bigdata02:16000/sqoop --exec UQE_DIM_DS_DJ_NSRXX
在服务器shell中执行该命令时运行正常
在oozie中执行时报错
t in the environment. Cannot check for additional configuration.3710 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.oracle.OraOopManagerFactory - Data Connector for Oracle and Hadoop is disabled.3722 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.SqlManager - Using default fetchSize of 10003722 [uber-SubtaskRunner] INFO org.apache.sqoop.tool.CodeGenTool - Beginning code generation4020 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.OracleManager - Time zone has been set to GMT4073 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.SqlManager - Executing SQL statement: select TO_CHAR(SYSDATE, 'yyyy-mm-dd') STARTIME, '9999-01-01' ENDTIME, TO_CHAR(SYSDATE, 'yyyy') YEARS, '654000' XZQH, '1' VERSION, TO_CHAR(DJXH) DJXH, GDSLX_DM, SSDABH, NSRSBH, NSRMC, KZZTDJLX_DM, DJZCLX_DM, FDDBRXM, FDDBRSFZJLX_DM, SCJYDZ, FDDBRSFZJHM, SCJYDZXZQHSZ_DM, NSRZT_DM, HY_DM, ZCDZ, ZCDZXZQHSZ_DM, JDXZ_DM, DWLSGX_DM, GDGHLX_DM, DJJG_DM, XGR_DM, ZZJG_DM, KQCCSZTDJBZ, LRR_DM, LRRQ, TO_CHAR(xgrq, 'yyyy-mm-dd hh24:mi:ss') XGRQ, TO_CHAR(sjtb_sj, 'yyyy-mm-dd hh24:mi:ss') SJTB_SJ, SJGSDQ, ZGSWJ_DM, ZGSWSKFJ_DM, SSGLY_DM, FJMQYBZ, SWDJBLBZ, NSRBM, YXBZ, SHXYDM, PGJG_DM, TO_CHAR(GSZXRQ, 'yyyy-mm-dd') GSZXRQ, TO_CHAR(DJRQ, 'yyyy-mm-dd') DJRQ from DJ_NSRXX where (1 = 0) 4080 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.SqlManager - Executing SQL statement: select TO_CHAR(SYSDATE, 'yyyy-mm-dd') STARTIME, '9999-01-01' ENDTIME, TO_CHAR(SYSDATE, 'yyyy') YEARS, '654000' XZQH, '1' VERSION, TO_CHAR(DJXH) DJXH, GDSLX_DM, SSDABH, NSRSBH, NSRMC, KZZTDJLX_DM, DJZCLX_DM, FDDBRXM, FDDBRSFZJLX_DM, SCJYDZ, FDDBRSFZJHM, SCJYDZXZQHSZ_DM, NSRZT_DM, HY_DM, ZCDZ, ZCDZXZQHSZ_DM, JDXZ_DM, DWLSGX_DM, GDGHLX_DM, DJJG_DM, XGR_DM, ZZJG_DM, KQCCSZTDJBZ, LRR_DM, LRRQ, TO_CHAR(xgrq, 'yyyy-mm-dd hh24:mi:ss') XGRQ, TO_CHAR(sjtb_sj, 'yyyy-mm-dd hh24:mi:ss') SJTB_SJ, SJGSDQ, ZGSWJ_DM, ZGSWSKFJ_DM, SSGLY_DM, FJMQYBZ, SWDJBLBZ, NSRBM, YXBZ, SHXYDM, PGJG_DM, TO_CHAR(GSZXRQ, 'yyyy-mm-dd') GSZXRQ, TO_CHAR(DJRQ, 'yyyy-mm-dd') DJRQ from DJ_NSRXX where (1 = 0) 4093 [uber-SubtaskRunner] INFO org.apache.sqoop.orm.CompilationManager - $HADOOP_MAPRED_HOME is not set5594 [uber-SubtaskRunner] INFO org.apache.sqoop.orm.CompilationManager - Writing jar file: /tmp/sqoop-yarn/compile/4c4a96a4394eb993738adcf661868440/QueryResult.jar5605 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.SqlManager - Executing SQL statement: select TO_CHAR(SYSDATE, 'yyyy-mm-dd') STARTIME, '9999-01-01' ENDTIME, TO_CHAR(SYSDATE, 'yyyy') YEARS, '654000' XZQH, '1' VERSION, TO_CHAR(DJXH) DJXH, GDSLX_DM, SSDABH, NSRSBH, NSRMC, KZZTDJLX_DM, DJZCLX_DM, FDDBRXM, FDDBRSFZJLX_DM, SCJYDZ, FDDBRSFZJHM, SCJYDZXZQHSZ_DM, NSRZT_DM, HY_DM, ZCDZ, ZCDZXZQHSZ_DM, JDXZ_DM, DWLSGX_DM, GDGHLX_DM, DJJG_DM, XGR_DM, ZZJG_DM, KQCCSZTDJBZ, LRR_DM, LRRQ, TO_CHAR(xgrq, 'yyyy-mm-dd hh24:mi:ss') XGRQ, TO_CHAR(sjtb_sj, 'yyyy-mm-dd hh24:mi:ss') SJTB_SJ, SJGSDQ, ZGSWJ_DM, ZGSWSKFJ_DM, SSGLY_DM, FJMQYBZ, SWDJBLBZ, NSRBM, YXBZ, SHXYDM, PGJG_DM, TO_CHAR(GSZXRQ, 'yyyy-mm-dd') GSZXRQ, TO_CHAR(DJRQ, 'yyyy-mm-dd') DJRQ from DJ_NSRXX where (1 = 0) 5610 [uber-SubtaskRunner] INFO org.apache.sqoop.tool.ImportTool - Incremental import based on column LRRQ5610 [uber-SubtaskRunner] INFO org.apache.sqoop.tool.ImportTool - Lower bound value: TO_TIMESTAMP('2016-11-23 17:36:22.0', 'YYYY-MM-DD HH24:MI:SS.FF')5610 [uber-SubtaskRunner] INFO org.apache.sqoop.tool.ImportTool - Upper bound value: TO_TIMESTAMP('2016-11-23 17:46:00.0', 'YYYY-MM-DD HH24:MI:SS.FF')5614 [uber-SubtaskRunner] ERROR org.apache.sqoop.tool.ImportTool - Error during import: HBase jars are not present in classpath, cannot import to HBase!Intercepting System.exit(1)
从日志上看是说hbase的jar包没有在classpath下不能导入到hbase,但是配置文件中是有hbase的配置的#set the path to where bin/hbase is availableexport HBASE_HOME=${HBASE_HOME:-/usr/lib/hbase}
不知道有人碰到过这个问题没有,如果有碰到的请指点一下,感激不尽!!!!
hbase 导入oracle,hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase相关推荐
- hue sqoop mysql_HUE中Oozie执行Sqoop
Oozie执行Sqoop,传入参数(注意,在使用--query时,参数中一定不要带有空格,否则出错) 1.新建一个workflow 2.拖入一个sqoop 3. sqoop抽取命令如下(建议先在命令行 ...
- hive sqoop 分区导入_利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
- HUE中Oozie执行Sqoop
Oozie执行Sqoop,传入参数(注意,在使用--query时,参数中一定不要带有空格,否则出错) 1. 新建一个workflow 2. 拖入一个sqoop 3. sqoop抽取命令如下(建议先在命 ...
- kettle增加字段报错_【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中
每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定. 放弃不难,但坚持很酷~ 最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入 ...
- oracle统计每天数据增量,每天的业务数据增量导入oracle库方法讨论
咨询各位高人. 目前状况是 我单位每天都要产生 一个单品资料的基础表, 是所有单品,大约5万条数据 ,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉 了.这个表每天都是通过unix上系统 ...
- ubuntu导入python的包_在ubuntu环境下怎么利用python将数据批量导入数据hbase
斯蒂芬大帝 能够单条导入就能够批量导入配置 thriftpython使用的包 thrift个人使用的python 编译器是pycharm community edition. 在工程中设置中,找到pr ...
- hive运行mysql脚本_用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql
1:创建shell脚本 1 touch sqoop_options.sh2 chmod 777 sqoop_options.sh 编辑文件 特地将执行map的个数设置为变量 测试 可以java代码 ...
- python类中方法的执行顺序-python – 新式类中的方法解析顺序(MRO)?
在Python in a Nutshell(第2版)一书中有一个使用的例子 旧样式类,用于演示如何以经典分辨率顺序解析方法 它与新订单有何不同. 我通过重写新样式的示例尝试了相同的示例,但结果与使用旧 ...
- 继承中的构造方法执行顺序
继承中的构造方法执行顺序 在子父类中,创建子类对象,调用子类的构造方法, 在子类的构造方法的第一行代码如果没有调用父类的构造或者没有调用子类的其他构造,则默认调用父类无参构造. 为什么要调用父类构造? ...
最新文章
- JavaScript 读书笔记(二)— Date类型
- EXPLAIN 命令详解
- 就是要让你搞懂 Nginx,这篇就够了!
- oracle错误号大全(查询ora错误号以及解决方法技巧)
- 机器学习从入门到精通50讲(一)-大数据平台下的数据质量管理
- 100篇论文串讲对话系统前世今生
- linux 加密工具办法
- POJ 3253-Fence Repair(堆)
- Unity3D一个全面整合的专业游戏引擎
- win7 虚拟wifi服务器,在win7下建立虚拟wifi
- 尘埃4 for Mac(DiRT4赛车竞速游戏)原生版
- light动名词_2015年12月英语六级语法知识:动名词
- 全球芯片短缺可能很快变成供过于求的危机
- huggingface.transformers任务简介
- 网络安全运维工程师数据库的核心能力有什么?
- 计算机视觉传达论文库,计算机图形视觉传达论文
- REST/RESTFUL详解-转载
- STM32系列(HAL库)——F103C8T6通过MFRC522、RFID射频卡、门禁卡模块读取卡片ID(二)
- 第4期 2017/09/04 逆光——后退——战狼航拍——港珠澳大桥
- 2022年江苏省建筑三类人员(项目负责人B证)练习题及答案
热门文章
- linux安装宝塔一半挂了怎么再继续,宝塔安装到一半,连接断开了
- 华为巅峰之作鸿蒙,华为巅峰之作:120Hz流体屏+麒麟990+鸿蒙系统 这才是熟悉的华为...
- 一维,多维背包问题(体积,重量)
- 微信小程序-如何获取云数据库某集合数据并显示在页面
- yum 安装daemonize 错误:依赖检测失败: daemonize 被 jenkins-2.303.1-1.1.noarch 需要
- 二、Python3自动化运维——IPy模块
- C++ 图像数据翻转代码 (水平翻转 垂直翻转 对角线翻转)
- spark -- Spark原理初探
- unity内的阴影修复。
- 嵌入式系统的接口测试策略