hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中

测试：利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中。

需要注意的地方：

1，要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。并且，如果一个xml文本中有多个这种操作的话，每个action中都需要配置这个参数。

2，要注意XML中的转义字符问题。这里我的sql中，就有一个小于号需要重写，否则执行后会说sql语句不对。

3，因为是分区表，按照每日分区，所以要从系统获取系统时间。这里没找到其他的可执行的方法，就比较麻烦的写成了这个样子：${replaceAll(timestamp(),"T.{0,}","")}

4，还要注意xmlns的版本问题。这个时候，多试几个就好了。

workflow.xml

hive.metastore.uris

thrift://192.168.20.39:9083

import

--connect

jdbc:db2://192.168.20.236:50001/sample

--username

db2inst1

--password

zheshimima

--query

select projno,projname,prstdate from project where prstdate< date(current date)-1 day and $CONDITIONS

--fields-terminated-by

"\t"

--hive-import

--target-dir

/qpf/target-dir/

--hive-table

ceshiku.tb_db2test

--null-string

"\\N"

--null-non-string

"\\N"

--hive-partition-key

shijian

--hive-partition-value

"${replaceAll(timestamp(),"T.{0,}","")}"

-m

Action failed,step01 error message[${wf:errorMessage(wf:lastErrorNode())}]

hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中相关推荐

hbase 导入oracle,hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase
在cdh hue中使用oozie执行sqoop job时遇到下面的问题. sqoop命令 job --meta-connect jdbc:hsqldb:hsql://bigdata02:16000/s ...
hue sqoop mysql_HUE中Oozie执行Sqoop
Oozie执行Sqoop,传入参数(注意,在使用--query时,参数中一定不要带有空格,否则出错) 1.新建一个workflow 2.拖入一个sqoop 3. sqoop抽取命令如下(建议先在命令行 ...
Sqoop（三）将关系型数据库中的数据导入到HDFS（包括hive，hbase中）
本文转自:https://www.cnblogs.com/yfb918/p/10855170.html 一.说明: 将关系型数据库中的数据导入到 HDFS(包括 Hive, HBase) 中,如果导入 ...
HUE中Oozie执行Sqoop
Oozie执行Sqoop,传入参数(注意,在使用--query时,参数中一定不要带有空格,否则出错) 1. 新建一个workflow 2. 拖入一个sqoop 3. sqoop抽取命令如下(建议先在命 ...
mysql数据库导入到excel表格数据_[转载]将EXCEL表格中的数据导入mysql数据库表中（两种方法）...
今天项目上遇到需要将excel中的数据导入到数据库的classify表中,于是乎拼命上网查阅方法,发现以下两种方法比较可行: 在此之前先说说按照网上的说法我没有试验成功的方法,将excel文件xls保 ...
【clickhouse】使用waterdrop将Hive中的数据导入ClickHouse
1.概述转载:使用waterdrop将Hive中的数据导入ClickHouse 这里仅仅自己学习用. 前言最近有一个需求需要把hive的数据同步到clickhouse,而且数据量还比较大,所以使用 ...
把EXCEL表格导入到MYSQL中_将EXCEL表格中的数据导入mysql数据库表中（两种方法）...
今天项目上遇到需要将excel中的数据导入到数据库的classify表中,于是乎拼命上网查阅方法,发现以下两种方法比较可行: 在此之前先说说按照网上的说法我没有试验成功的方法,将excel文件xls保 ...
lisp倒入excel数据画图_如何将EXCEL中的数据导入到CAD中，绘制成曲线|
如何将EXCEL中的数据导入到CAD中,绘制成曲线如果不用软件,只用CAD自身功能的话可以通过多段线生成你需要的曲线.你给出你的曲线函数,我给你生成曲线坐标以及CAD能自动绘制的文件格式怎样将ca ...
ug如何导入excel数据点_怎样将dat文件中的数据导入ug中进行操作
怎样将dat文件中的数据导入ug中进行操作我的问题是,我用了两种方法作一件事情,第一种是直接将cpp 程序的内容粘贴到用一个回调函数中,这样算法生成的数据直接供u g函数使用.这样做的话,感觉很麻烦 ...

hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中

hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中相关推荐

最新文章

热门文章