上一篇文章我们讲述了Sqoop的安装已经一些基本操作，本文我们主要来看看它常用的一些参数和命令。Sqoop是一个非常简单的传输工具，我们进行简单的讲述，不在这上面浪费过多的时间，本文是Sqoop部分的最后一篇文章。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

目录

一、Sqoop常用的命令

二、Sqoop的公用参数

2.1 数据库连接参数

2.2 import参数

2.3 export参数

2.4 hive参数

三、Sqoop的特有参数

3.1 import

3.2 export

3.3 codegen

3.4 create-hive-table

3.5 eval

3.6 import-all-tables

3.7 job

3.8 list-databases

3.9 list-tables

3.10 merge

3.11 metastore

一、Sqoop常用的命令

下面列举出了Sqoop常用的命令参数：

序号

命令

类

说明

1

import

ImportTool

将数据导入到集群

2

export

ExportTool

将集群数据导出

3

codegen

CodeGenTool

获取数据库中某张表数据生成Java并打包Jar

4

create-hive-table

CreateHiveTableTool

创建Hive表

5

eval

EvalSqlTool

查看SQL执行结果

6

import-all-tables

ImportAllTablesTool

导入某个数据库下所有表到HDFS中

7

job

JobTool

用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。

8

list-databases

ListDatabasesTool

列出所有数据库名

9

list-tables

ListTablesTool

列出某个数据库下所有表

10

merge

MergeTool

将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中

11

metastore

MetastoreTool

记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。

12

help

HelpTool

打印sqoop帮助信息

13

version

VersionTool

打印sqoop版本信息

二、Sqoop的公用参数

2.1 数据库连接参数

序号

参数

说明

1

--connect

连接关系型数据库的URL

2

--connection-manager

指定要使用的连接管理类

3

--driver

Hadoop根目录

4

--help

打印帮助信息

5

--password

连接数据库的密码

6

--username

连接数据库的用户名

7

--verbose

在控制台打印出详细信息

2.2 import参数

序号

参数

说明

1

--enclosed-by <char>

给字段值前加上指定的字符

2

--escaped-by <char>

对字段中的双引号加转义符

3

--fields-terminated-by <char>

设定每个字段是以什么符号作为结束，默认为逗号

4

--lines-terminated-by <char>

设定每行记录之间的分隔符，默认是\n

5

--mysql-delimiters

Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。

6

--optionally-enclosed-by <char>

给带有双引号或单引号的字段值前后加上指定字符。

2.3 export参数

序号

参数

说明

1

--input-enclosed-by <char>

对字段值前后加上指定字符

2

--input-escaped-by <char>

对含有转移符的字段做转义处理

3

--input-fields-terminated-by <char>

字段之间的分隔符

4

--input-lines-terminated-by <char>

行之间的分隔符

5

--input-optionally-enclosed-by <char>

给带有双引号或单引号的字段前后加上指定字符

2.4 hive参数

序号

参数

说明

1

--hive-delims-replacement <arg>

用自定义的字符串替换掉数据中的\r\n和\013 \010等字符

2

--hive-drop-import-delims

在导入数据到hive时，去掉数据中的\r\n\013\010这样的字符

3

--map-column-hive <arg>

生成hive表时，可以更改生成字段的数据类型

4

--hive-partition-key

创建分区，后面直接跟分区名，分区字段的默认类型为string

5

--hive-partition-value <v>

导入数据时，指定某个分区的值

6

--hive-home <dir>

hive的安装目录，可以通过该参数覆盖之前默认配置的目录

7

--hive-import

将数据从关系数据库中导入到hive表中

8

--hive-overwrite

覆盖掉在hive表中已经存在的数据

9

--create-hive-table

默认是false，即，如果目标表已经存在了，那么创建任务失败。

10

--hive-table

后面接要创建的hive表,默认使用MySQL的表名

11

--table

指定关系数据库的表名

三、Sqoop的特有参数

3.1 import

将关系型数据库中的数据导入到HDFS（包括Hive，HBase）中，如果导入的是Hive，那么当Hive中没有对应表时，则自动创建。

1、 命令

例如：

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--table tab \
--hive-import

加入需要增量导入Hive，则需要配置mode=append，如下：

bin/sqoop import \
--connect jdbc:mysql://master:3306/xzw  \
--username root \
--password pwd \
--table tab \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/tab_hive \
--check-column id \
--incremental append \
--last-value 3

这里需要注意的是，append不能与--hive-等参数同时使用。当mode=lastmodified时，要指定增量数据是要--append（追加）还是要--merge-key（合并），last-value指定的值会包含于增量导入的数据中。

2、 参数

序号

参数

说明

1

--append

将数据追加到HDFS中已经存在的DataSet中，如果使用该参数，sqoop会把数据先导入到临时文件目录，再合并。

2

--as-avrodatafile

将数据导入到一个Avro数据文件中

3

--as-sequencefile

将数据导入到一个sequence文件中

4

--as-textfile

将数据导入到一个普通文本文件中

5

--boundary-query <statement>

边界查询，导入的数据为该参数的值（一条sql语句）所执行的结果区间内的数据。

6

--columns <col1, col2, col3>

指定要导入的字段

7

--direct

直接导入模式，使用的是关系数据库自带的导入导出工具，以便加快导入导出过程。

8

--direct-split-size

在使用上面direct直接导入的基础上，对导入的流按字节分块，即达到该阈值就产生一个新的文件

9

--inline-lob-limit

设定大对象数据类型的最大值

10

--m或–num-mappers

启动N个map来并行导入数据，默认4个。

11

--query或--e <statement>

将查询结果的数据导入，使用时必须伴随参--target-dir，--hive-table，如果查询中有where条件，则条件后必须加上$CONDITIONS关键字

12

--split-by <column-name>

按照某一列来切分表的工作单元，不能与--autoreset-to-one-mapper连用（请参考官方文档）

13

--table <table-name>

关系数据库的表名

14

--target-dir <dir>

指定HDFS路径

15

--warehouse-dir <dir>

与14参数不能同时使用，导入数据到HDFS时指定的目录

16

--where

从关系数据库导入数据时的查询条件

17

--z或--compress

允许压缩

18

--compression-codec

指定hadoop压缩编码类，默认为gzip(Use Hadoop codec default gzip)

19

--null-string <null-string>

string类型的列如果null，替换为指定字符串

20

--null-non-string <null-string>

非string类型的列如果null，替换为指定字符串

21

--check-column <col>

作为增量导入判断的列名

22

--incremental <mode>

mode：append或lastmodified

23

--last-value <value>

指定某一个值，用于标记增量导入的位置

3.2 export

从HDFS（包括Hive和HBase）中将数据导出到关系型数据库中。

1、命令

$ bin/sqoop export \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--table tab \
--export-dir /user/tab \
--input-fields-terminated-by "\t" \
--num-mappers 1

2、 参数

序号

参数

说明

1

--direct

利用数据库自带的导入导出工具，以便于提高效率

2

--export-dir <dir>

存放数据的HDFS的源目录

3

-m或--num-mappers <n>

启动N个map来并行导入数据，默认4个

4

--table <table-name>

指定导出到哪个RDBMS中的表

5

--update-key <col-name>

对某一列的字段进行更新操作

6

--update-mode <mode>

updateonly

allowinsert(默认)

7

--input-null-string <null-string>

请参考import该类似参数说明

8

--input-null-non-string <null-string>

请参考import该类似参数说明

9

--staging-table <staging-table-name>

创建一张临时表，用于存放所有事务的结果，然后将所有事务结果一次性导入到目标表中，防止错误。

10

--clear-staging-table

如果第9个参数非空，则可以在导出操作执行前，清空临时事务结果表

3.3 codegen

将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。

1、命令

bin/sqoop codegen \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--table tab \
--bindir /home/admin/Desktop/tab \
--class-name tab \
--fields-terminated-by "\t"

2、参数

序号

参数

说明

1

--bindir <dir>

指定生成的Java文件、编译成的class文件及将生成文件打包为jar的文件输出路径

2

--class-name <name>

设定生成的Java文件指定的名称

3

--outdir <dir>

生成Java文件存放的路径

4

--package-name <name>

包名，如com.z，就会生成com和z两级目录

5

--input-null-non-string <null-str>

在生成的Java文件中，可以将null字符串或者不存在的字符串设置为想要设定的值（例如空字符串）

6

--input-null-string <null-str>

将null字符串替换成想要替换的值（一般与5同时使用）

7

--map-column-java <arg>

数据库字段在生成的Java文件中会映射成各种属性，且默认的数据类型与数据库类型保持对应关系。该参数可以改变默认类型，例如：--map-column-java id=long, name=String

8

--null-non-string <null-str>

在生成Java文件时，可以将不存在或者null的字符串设置为其他值

9

--null-string <null-str>

在生成Java文件时，将null字符串设置为其他值（一般与8同时使用）

10

--table <table-name>

对应关系数据库中的表名，生成的Java文件中的各个属性与该表的各个字段一一对应

3.4 create-hive-table

生成与关系数据库表结构对应的hive表结构。

1、命令

bin/sqoop create-hive-table \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--table tab \
--hive-table hive_tab

2、参数

序号

参数

说明

1

--hive-home <dir>

Hive的安装目录，可以通过该参数覆盖掉默认的Hive目录

2

--hive-overwrite

覆盖掉在Hive表中已经存在的数据

3

--create-hive-table

默认是false，如果目标表已经存在了，那么创建任务会失败

4

--hive-table

后面接要创建的hive表

5

--table

指定关系数据库的表名

3.5 eval

可以快速的使用SQL语句对关系型数据库进行操作，经常用于在import数据之前，了解一下SQL语句是否正确，数据是否正常，并可以将结果显示在控制台。

1、命令

bin/sqoop eval \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--query "SELECT * FROM tab"

2、参数

序号

参数

说明

1

--query或--e

后跟查询的SQL语句

3.6 import-all-tables

可以将RDBMS中的所有表导入到HDFS中，每一个表都对应一个HDFS目录。

1、命令

bin/sqoop import-all-tables \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--warehouse-dir /all_tables

2、参数

序号

参数

说明

1

--as-avrodatafile

这些参数的含义均和import对应的含义一致

2

--as-sequencefile

3

--as-textfile

4

--direct

5

--direct-split-size <n>

6

--inline-lob-limit <n>

7

--m或—num-mappers <n>

8

--warehouse-dir <dir>

9

-z或--compress

10

--compression-codec

3.7 job

用来生成一个sqoop任务，生成后不会立即执行，需要手动执行。

1、命令

$ bin/sqoop job \--create myjob -- import-all-tables \--connect jdbc:mysql://master:3306/xzw \--username root \--password pwd$ bin/sqoop job \
--list$ bin/sqoop job \
--exec myjob

这里需要注意的是，import-all-tables和它左边的--之间有一个空格。如果需要连接metastore，则--meta-connect jdbc:hsqldb:hsql://master:16000/xzw。

2、参数

序号

参数

说明

1

--create <job-id>

创建job参数

2

--delete <job-id>

删除一个job

3

--exec <job-id>

执行一个job

4

--help

显示job帮助

5

--list

显示job列表

6

--meta-connect <jdbc-uri>

用来连接metastore服务

7

--show <job-id>

显示一个job的信息

8

--verbose

打印命令运行时的详细信息

在执行一个job时，如果需要手动输入数据库密码，可以做如下处理：

<property><name>sqoop.metastore.client.record.password</name><value>true</value><description>If true, allow saved passwords in the metastore.</description>
</property>

3.8 list-databases

1、命令

bin/sqoop list-databases \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd

3.9 list-tables

1、命令

bin/sqoop list-tables \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd

3.10 merge

将HDFS中不同目录下面的数据合并在一起并放入指定目录中。

1、命令

1、创建JavaBean：
$ bin/sqoop codegen \
--connect jdbc:mysql://master:3306/xzw \
--username root \
--password pwd \
--table tab \
--bindir /home/admin/Desktop/tab \
--class-name tab \
--fields-terminated-by "\t"2、开始合并：
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/tab/tab.jar \
--class-name tab \
--merge-key id

2、参数

序号

参数

说明

1

--new-data <path>

HDFS 待合并的数据目录，合并后在新的数据集中保留

2

--onto <path>

HDFS合并后，重复的部分在新的数据集中被覆盖

3

--merge-key <col>

合并键，一般是主键ID

4

--jar-file <file>

合并时引入的jar包，该jar包是通过Codegen工具生成的jar包

5

--class-name <class>

对应的表名或对象名，该class类是包含在jar包中的

6

--target-dir <path>

合并后的数据在HDFS里存放的目录

3.11 metastore

记录了Sqoop job的元数据信息，如果不启动该服务，那么默认job元数据的存储目录为~/.sqoop，可在sqoop-site.xml中修改。

1、命令：启动sqoop的metastore服务

bin/sqoop metastore

2、参数

序号

参数

说明

1

--shutdown

关闭metastore

以上就是本文的所有内容，比较简单。你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~

五十八、Sqoop的常用参数及命令相关推荐

  1. OpenCV学习笔记（五十六）——InputArray和OutputArray的那些事core OpenCV学习笔记（五十七）——在同一窗口显示多幅图片 OpenCV学习笔记（五十八）——读《Mast

    OpenCV学习笔记(五十六)--InputArray和OutputArray的那些事core 看过OpenCV源代码的朋友,肯定都知道很多函数的接口都是InputArray或者OutputArray ...

  2. [Python从零到壹] 五十八.图像增强及运算篇之图像锐化Sobel、Laplacian算子实现边缘检测

    欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...

  3. 五十八、深入了解 Java 中的注解和自定义注解

    @Author:Runsen @Date:2020/7/9 人生最重要的不是所站的位置,而是内心所朝的方向.只要我在每篇博文中写得自己体会,修炼身心:在每天的不断重复学习中,耐住寂寞,练就真功,不畏艰 ...

  4. JavaScript学习（五十八）—作用域链

    JavaScript学习(五十八)-作用域链 一.作用域链 在每个作用域中都有一个对象,这个对象被称为变量对象. 变量对象的作用就是用来管理该作用域下面定义的变量和函数的,也就是在该作用域下面定义的变 ...

  5. 十八个最常用的学术搜索引擎【转载】

    十八个最常用的学术搜索引擎 1.http://scholar.google.com/4 虽然还是Beta版,但个人已觉得现在已经是很好很强大了,Google学术搜索滤掉了普通搜索结果中大量的垃圾信息, ...

  6. 电脑高手必知八个最常用的cmd命令

    作为一个网络管理员或者黑客来说,ping命令是第一个必须掌握DOS命令,所利用的原理是这样:网络上的机器都有唯一的IP地址,我们给目标IP地址发送一个数据包,对方就要返回一个同样大小的数据包, 根据返 ...

  7. 王佩丰excel学习笔记（五）：第十五——十八讲

    目录 第十五讲 第十六讲 第十七讲 第十八讲 第十五讲 根据某些条件突出显示单元格:开始-条件格式-突出显示单元格规则 制作数据范围趋势:开始-条件格式-数据条 用于分组统计:插入-切片器 多重条件格 ...

  8. OpenCV系列之图像去噪 | 五十八

    目标 在本章中, 你将学习用于去除图像中噪声的非局部均值去噪算法. 你将看到不同的函数,例如cv.fastNlMeansDenoising(),cv.fastNlMeansDenoisingColor ...

  9. MySQL客户端工具mysqladmin常用参数和命令总结

    文章目录 1.1 mysqladmin工具如何安装 1.2 mysqladmin工具有何作用 1.3 mysqladmin工具语法说明 1.4 mysqladmin读取文件获取连接信息 1.5 mys ...

最新文章

  1. Hibernate **关于hibernate4.3版本之后org.hibernate.service.ServiceRegistryBuilder被弃用**
  2. Python编程基础：第三节 字符串方法String Methods
  3. C# 调用cmd执行指令
  4. 6.LibSVM核函数
  5. 机器学习（二十一）——Optimizer, 单分类SVM多分类SVM, 时间序列分析
  6. nssl1195-健美猫【???】
  7. 如何使ArrayList 线程安全
  8. JDK 10：从Java访问Java应用程序的进程ID
  9. 工作401-普通编译模式
  10. 借力阿里云存储产品 延锋彼欧加速数字化重塑
  11. linux basename学习
  12. 阶段1 语言基础+高级_1-3-Java语言高级_09-基础加强_第1节 基础加强_2_Junit_测试概述...
  13. C++ 对象的内存布局【转】
  14. Ajax：异步JavaScript和XML的笔记略解，不作为知识参考
  15. axure rp9安装教程，axurerp9安装步骤
  16. Android 获取屏幕高度、宽度
  17. 推荐几本大学生必看的书单
  18. 【Matlab水果识别】RGB+HSV水果成熟度分级系统【含GUI源码 825期】
  19. android手机如何截屏,安卓手机怎么截屏（教你华为手机5种截图技巧）
  20. 安卓如何实现图文混排

热门文章

  1. 阿里巴巴2014年校园招聘试题解答
  2. typedef、#define、const和随机生成树
  3. caspase家族的特点_caspase家族
  4. html5报餐系统源码,中学食堂报餐系统
  5. Android USB Camera
  6. Centos 7安装Quagga
  7. C——W小J的编程采坑与进步绪篇
  8. VS2019 C++ 单元测试
  9. Python编程知识点总结
  10. 19美亚个人赛复盘2（手机取证）