sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似。

sqoop2-1.99.4环境搭建参见:Sqoop2环境搭建

sqoop2-1.99.3版本实现参见:Sqoop2入门之导入关系型数据库数据到HDFS上

启动sqoop2-1.99.4版本客户端:

$SQOOP2_HOME/bin/sqoop.sh client
set server --host hadoop000 --port 12000 --webapp sqoop

查看所有connector:

show connector --all

2 connector(s) to show: Connector with id 1:Name: hdfs-connector Class: org.apache.sqoop.connector.hdfs.HdfsConnectorVersion: 1.99.4-cdh5.3.0Connector with id 2:Name: generic-jdbc-connector Class: org.apache.sqoop.connector.jdbc.GenericJdbcConnectorVersion: 1.99.4-cdh5.3.0

查询所有link:

show link

删除指定link:

delete link --lid x

查询所有job:

show job

删除指定job:

delete job --jid 1

创建generic-jdbc-connector类型的connector

create link --cid 2Name: First LinkJDBC Driver Class: com.mysql.jdbc.DriverJDBC Connection String: jdbc:mysql://hadoop000:3306/hive
    Username: rootPassword: ****JDBC Connection Properties: There are currently 0 values in the map:entry# protocol=tcpThere are currently 1 values in the map:protocol = tcpentry# New link was successfully created with validation status OK and persistent id 3

show link
+----+-------------+-----------+---------+
| Id |    Name     | Connector | Enabled |
+----+-------------+-----------+---------+
| 3  | First Link  | 2         | true    |
+----+-------------+-----------+---------+

创建hdfs-connector类型的connector:

create link -cid 1Name: Second LinkHDFS URI: hdfs://hadoop000:8020New link was successfully created with validation status OK and persistent id 4

show link
+----+-------------+-----------+---------+
| Id |    Name     | Connector | Enabled |
+----+-------------+-----------+---------+
| 3  | First Link  | 2         | true    |
| 4  | Second Link | 1         | true    |
+----+-------------+-----------+---------+

show link -all2 link(s) to show: link with id 3 and name First Link (Enabled: true, Created by null at 15-2-2 ??11:28, Updated by null at 15-2-2 ??11:28)Using Connector id 2Link configurationJDBC Driver Class: com.mysql.jdbc.DriverJDBC Connection String: jdbc:mysql://hadoop000:3306/hive
        Username: rootPassword: JDBC Connection Properties: protocol = tcplink with id 4 and name Second Link (Enabled: true, Created by null at 15-2-2 ??11:32, Updated by null at 15-2-2 ??11:32)Using Connector id 1Link configurationHDFS URI: hdfs://hadoop000:8020

根据connector id创建job:

create job -f 3 -t 4Creating job for links with from id 3 and to id 4Please fill following values to create new job objectName: SqoopyFrom database configurationSchema name: hiveTable name: TBLSTable SQL statement: Table column names: Partition column name: Null value allowed for the partition column: Boundary query: ToJob configurationOutput format: 0 : TEXT_FILE1 : SEQUENCE_FILEChoose: 0Compression format: 0 : NONE1 : DEFAULT2 : DEFLATE3 : GZIP4 : BZIP25 : LZO6 : LZ47 : SNAPPY8 : CUSTOMChoose: 0Custom compression format: Output directory: hdfs://hadoop000:8020/sqoop2/tbls_import_demo_sqoop1.99.4
Throttling resourcesExtractors: Loaders: New job was successfully created with validation status OK  and persistent id 2

查询所有job:

show job
+----+--------+----------------+--------------+---------+
| Id |  Name  | From Connector | To Connector | Enabled |
+----+--------+----------------+--------------+---------+
| 2  | Sqoopy | 2              | 1            | true    |
+----+--------+----------------+--------------+---------+

启动指定的job:  该job执行完后查看HDFS上的文件(hdfs fs -ls hdfs://hadoop000:8020/sqoop2/tbls_import_demo_sqoop1.99.4/)

start job --jid 2

查看指定job的执行状态:

status job --jid 2

停止指定的job:

stop job --jid 2

在start job(如:start job --jid 2)时常见错误:

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

在sqoop客户端设置查看job详情:

set option --name verbose --value true
show job --jid 2

转载于:https://www.cnblogs.com/luogankun/p/4267442.html

Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)相关推荐

  1. Sqoop2入门之导入关系型数据库数据到HDFS上

    需求:将hive数据库中的TBLS表导出到HDFS之上: $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop ...

  2. sqoop2 mysql导入hdfs_Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)

    sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似. sqoop2-1.99.4环境搭建参见:Sqoop2环境 ...

  3. Excel 2010 VBA 入门 098 导入Access数据库的数据

    示例 Access是微软Office组件的数据库软件,使用它可以进行简单的数据库软件的开发.但Access的图表功能和数据分析功能不如Excel强大,常用的做法可以将Access中的数据导入 Exce ...

  4. RDS关系型数据库 入门 01 创建关系型数据库实例【华为云分享】

    [摘要] 关系型数据库(Relational Database Service,简称RDS)是一种基于云计算平台的即开即用.稳定可靠.弹性伸缩.便捷管理的在线关系型数据库服务.RDS具有完善的性能监控 ...

  5. 关于sqoop增量导入oracle的数据到HDFS的出现的错误总结

    今天在将公司的oracle的数据抽取到hive当中,根据时间字段做增量插入,然后合并采用按照id唯一主键的方式进行合并操作. 下面的代码是增量导入的操作shell脚本 #!/bin/bash date ...

  6. BCP 导入导出数据库数据

    使用 bcp 将数据库迁移到 Azure SQL Database --所有 都是在本机sql上运行 --先开启cmdshell EXEC sp_configure 'show advanced op ...

  7. solr 7 mysql导入_solr 7.7.0 windows 导入mysql数据库数据

    接上一篇 准备导入数据 首先修改hello/cong目录下的solrconfig.xml文件,添加如下节点: data-config.xml 新建一个data-config.xml文件,与solrco ...

  8. bcp导入到mysql_BCP 导入导出数据库数据

    使用 bcp 将数据库迁移到 Azure SQL Database --所有 都是在本机sql上运行 --先开启cmdshell EXEC sp_configure 'show advanced op ...

  9. Shp文件导入MySql数据库工具包,只是针对于8.0+以上版本定制开发

    由于最新的geotools工具类不支持8.0+以上的MySQL数据库,故而开发该工具用于数据处理.采用javaFX开发的一个很简单的数据导入工具,对于5.0+的版本,大家参考网上的相关代码即可,也可在 ...

最新文章

  1. 构造函数以及this
  2. Java中Set集合是如何实现添加元素保证不重复的?
  3. linux系统如何进行录屏
  4. 用Python 给你的个人微信朋友圈数据生成一本电子书吧!
  5. create document history via code
  6. PHP 织梦 帝国那个好,帝国、PHPCMS及织梦对比(十):推荐位功能
  7. 涉及子模块_COMSOL Multiphysics 5.6 RF模块更新详解
  8. Helm 3 完整教程(十三):Helm 函数讲解(7)列表函数
  9. 泛化误差,交叉验证和特征选择
  10. 扩展卡尔曼滤波EKF—目标跟踪中的应用(算法部分)
  11. java overload
  12. android10存储空间不足怎么清理,手机磁盘空间不足怎么清理?详细介绍
  13. wps教鞭功能_你未必知道的WPS神奇功能
  14. jsencrypt加密,并解决Message too long for RSA
  15. k8s 实战 - kubectl logs - 外传
  16. 2018上交软科计算机科学排名,2018年上海软科世界一流学科排名出炉!
  17. 如何使LED灯泡变暗---凯利讯半导体
  18. linux修改配置文件configure,./configure 的配置和用法
  19. MMGG测评 感动全球的链上自走棋——HeroesEmpires游戏拆解
  20. 如何使用几何体画人体结构?几何体画人体结构技巧!

热门文章

  1. Android中AES256加密的实现
  2. 笔试算法题及解答(Python)
  3. 51Nod 1007 正整数分组(01背包)
  4. tnsname.ora文件配置详解
  5. iptables一次性封多个ip,使用ipset 工具
  6. poj 1088滑雪
  7. Unity版本使用情况统计报告
  8. 互信息 卡方 - 文本挖掘
  9. Laravel自定义分页样式
  10. win7如何打开防火墙某个端口的tcp连接