sqoop -D 指定资源池（ mapred.job.queue.name=root.myqueue）或者（ mapred.job.queuename=root.myqueue）

sqoop import -D mapred.job.queue.name=root.myqueue
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase
–username jsz
–password 123456
–table mys.test
–columns ID,NAME,AGE,SALARY,DATA_DATE
-m 1
–hive-table default.test
–create-hive-table
–hive-drop-import-delims
–verbose
–fetch-size 5000
–target-dir /apps/testdata/default/test
–delete-target-dir
–hive-overwrite
–null-string ‘\N’
–null-non-string ‘\N’
–hive-import;

Hive表有分区，增量从Oracle中抽取数据到Hive表中：
sqoop import -D mapred.job.queue.name=root.myqueue
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase
–username jsz
–password 123456
–table mys.test
–columns ID,NAME,AGE,SALARY,LCD
-m 1
–hive-partition-key op_day
–hive-partition-value 20160525
–where “lcd >= trunc(TO_DATE(‘20160525’,‘YYYY-MM-DD’),‘dd’) and lcd < trunc(TO_DATE(‘20160526’,‘YYYY-MM-DD’),‘dd’)”
–hive-table default.test_partition
–create-hive-table
–hive-drop-import-delims
–verbose
–fetch-size 5000
–target-dir /apps/testdata/default/test_partition
–delete-target-dir
–hive-overwrite
–null-string ‘\N’
–null-non-string ‘\N’
–hive-import;

3.使用select语句：
sqoop import
-D mapred.job.queue.name=root.myqueue
-D oracle.sessionTimeZone=America/Los_Angeles
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase
–username jsz
–password 123456
–query “select ID,NAME,AGE,SALARY,DATA_DATE from mys.test WHERE ID = ‘10086’ and $CONDITIONS”
–verbose
–fetch-size 5000
–hive-table default.test
–target-dir /apps/testdata/default/test
–delete-target-dir
–fields-terminated-by ‘\001’
–lines-terminated-by ‘\n’
-m 1
–hive-import
–hive-overwrite
–null-string ‘\N’
–null-non-string ‘\N’
–hive-drop-import-delims

Sqoop的export工具导数的情况:

将Hive的数据导入Oracle，整个过程分为三步：

删除Oracle表的历史数据
sqoop eval -D mapred.job.queue.name=root.myqueue
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase
–username jsz
–password 123456
–verbose
–e “delete from mys.test”
Hive导出到HDFS指定路径
hive -e “use default;set mapred.job.queue.name=root.myqueue;set hive.insert.into.multilevel.dirs=true;insert overwrite directory ‘/apps/testdata/default/test’ select id,name,age,salary,data_date from default.test;”
将HDFS的数据导入到Oracle中
sqoop export
-D mapred.job.queue.name=root.myqueue
-D mapred.task.timeout=0
–connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase
–username jsz
–password 123456
–table mys.test
–columns ID,NAME,AGE,SALARY,DATA_DATE
–export-dir /apps/testdata/default/test
–verbose
–input-null-string ‘\N’
–input-null-non-string ‘\N’
–input-fields-terminated-by ‘\001’
–input-lines-terminated-by ‘\n’
-m 1
链接！

Hive
hive -e “set mapred.job.queue.name=root.zm_yarn_pool.production;select count(*) from ods.ods_zmnode_table;”;

sqoop -D 指定资源池（ mapred.job.queue.name=root.myqueue）或者（ mapred.job.queuename=root.myqueue）相关推荐

sqoop将mysql数据导入到hive指定的数据库中
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com 欢迎交流,禁止将本人博客直接复制下来,上传到百度文库等平台. 我们在使用hive时,经常需要建立一些库,以防止总 ...
sqoop连接hive和mysql_用Sqoop进行Hive和MySQL之间的数据互导
Hive导数据入MySQL 创建mysql表 use anticheat; create table anticheat_blacklist( userid varchar(30) primary k ...
Oozie 配合 sqoop hive 实现数据分析输出到 mysql
文件/RDBMS -> flume/sqoop -> HDFS -> Hive -> HDFS -> Sqoop -> RDBMS 其中,本文实现了使用 sqoo ...
大数据教程（13.6）sqoop使用教程
2019独角兽企业重金招聘Python工程师标准>>> 上一章节,介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识:本篇博客,博主将继续为小伙伴们分享sqoop的使用. 一 ...
1.15-1.16 sqoop action
一.sqoop action1 http://oozie.apache.org/docs/4.0.0/DG_SqoopActionExtension.html 1.准备文件 ## [root@hado ...
hive指定hadoop执行队列
指定队列的命令: 有三种: set mapred.job.queue.name=queue3; SET mapreduce.job.queuename=queue3; set mapred.queue ...
sqoop导出到mysql中文乱码问题总结、utf8、gbk
sqoop导出到mysql中文乱码问题总结.utf8.gbk 今天使用sqoop1.4.5版本的(hadoop使用cdh5.4)因为乱码问题很是头痛半天.下面进行一一总结命令: [root@sdzn ...
sqoop安装及使用
简介: sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具.你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中:也可以把数据从hdfs中导出到关系型数 ...
Cloudera Manager安装之利用parcels方式安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（五）...
参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...

sqoop -D 指定资源池（ mapred.job.queue.name=root.myqueue）或者（ mapred.job.queuename=root.myqueue）

sqoop -D 指定资源池（ mapred.job.queue.name=root.myqueue）或者（ mapred.job.queuename=root.myqueue）相关推荐

最新文章

热门文章