Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)
sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似。
sqoop2-1.99.4环境搭建参见:Sqoop2环境搭建
sqoop2-1.99.3版本实现参见:Sqoop2入门之导入关系型数据库数据到HDFS上
启动sqoop2-1.99.4版本客户端:
$SQOOP2_HOME/bin/sqoop.sh client set server --host hadoop000 --port 12000 --webapp sqoop
查看所有connector:
show connector --all
2 connector(s) to show: Connector with id 1:Name: hdfs-connector Class: org.apache.sqoop.connector.hdfs.HdfsConnectorVersion: 1.99.4-cdh5.3.0Connector with id 2:Name: generic-jdbc-connector Class: org.apache.sqoop.connector.jdbc.GenericJdbcConnectorVersion: 1.99.4-cdh5.3.0
查询所有link:
show link
删除指定link:
delete link --lid x
查询所有job:
show job
删除指定job:
delete job --jid 1
创建generic-jdbc-connector类型的connector
create link --cid 2Name: First LinkJDBC Driver Class: com.mysql.jdbc.DriverJDBC Connection String: jdbc:mysql://hadoop000:3306/hive Username: rootPassword: ****JDBC Connection Properties: There are currently 0 values in the map:entry# protocol=tcpThere are currently 1 values in the map:protocol = tcpentry# New link was successfully created with validation status OK and persistent id 3
show link
+----+-------------+-----------+---------+ | Id | Name | Connector | Enabled | +----+-------------+-----------+---------+ | 3 | First Link | 2 | true | +----+-------------+-----------+---------+
创建hdfs-connector类型的connector:
create link -cid 1Name: Second LinkHDFS URI: hdfs://hadoop000:8020New link was successfully created with validation status OK and persistent id 4
show link +----+-------------+-----------+---------+ | Id | Name | Connector | Enabled | +----+-------------+-----------+---------+ | 3 | First Link | 2 | true | | 4 | Second Link | 1 | true | +----+-------------+-----------+---------+
show link -all2 link(s) to show: link with id 3 and name First Link (Enabled: true, Created by null at 15-2-2 ??11:28, Updated by null at 15-2-2 ??11:28)Using Connector id 2Link configurationJDBC Driver Class: com.mysql.jdbc.DriverJDBC Connection String: jdbc:mysql://hadoop000:3306/hive Username: rootPassword: JDBC Connection Properties: protocol = tcplink with id 4 and name Second Link (Enabled: true, Created by null at 15-2-2 ??11:32, Updated by null at 15-2-2 ??11:32)Using Connector id 1Link configurationHDFS URI: hdfs://hadoop000:8020
根据connector id创建job:
create job -f 3 -t 4Creating job for links with from id 3 and to id 4Please fill following values to create new job objectName: SqoopyFrom database configurationSchema name: hiveTable name: TBLSTable SQL statement: Table column names: Partition column name: Null value allowed for the partition column: Boundary query: ToJob configurationOutput format: 0 : TEXT_FILE1 : SEQUENCE_FILEChoose: 0Compression format: 0 : NONE1 : DEFAULT2 : DEFLATE3 : GZIP4 : BZIP25 : LZO6 : LZ47 : SNAPPY8 : CUSTOMChoose: 0Custom compression format: Output directory: hdfs://hadoop000:8020/sqoop2/tbls_import_demo_sqoop1.99.4 Throttling resourcesExtractors: Loaders: New job was successfully created with validation status OK and persistent id 2
查询所有job:
show job +----+--------+----------------+--------------+---------+ | Id | Name | From Connector | To Connector | Enabled | +----+--------+----------------+--------------+---------+ | 2 | Sqoopy | 2 | 1 | true | +----+--------+----------------+--------------+---------+
启动指定的job: 该job执行完后查看HDFS上的文件(hdfs fs -ls hdfs://hadoop000:8020/sqoop2/tbls_import_demo_sqoop1.99.4/)
start job --jid 2
查看指定job的执行状态:
status job --jid 2
停止指定的job:
stop job --jid 2
在start job(如:start job --jid 2)时常见错误:
Exception has occurred during processing command Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception
在sqoop客户端设置查看job详情:
set option --name verbose --value true show job --jid 2
转载于:https://www.cnblogs.com/luogankun/p/4267442.html
Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)相关推荐
- Sqoop2入门之导入关系型数据库数据到HDFS上
需求:将hive数据库中的TBLS表导出到HDFS之上: $SQOOP2_HOME/bin/sqoop.sh client sqoop:000> set server --host hadoop ...
- sqoop2 mysql导入hdfs_Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)
sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似. sqoop2-1.99.4环境搭建参见:Sqoop2环境 ...
- Excel 2010 VBA 入门 098 导入Access数据库的数据
示例 Access是微软Office组件的数据库软件,使用它可以进行简单的数据库软件的开发.但Access的图表功能和数据分析功能不如Excel强大,常用的做法可以将Access中的数据导入 Exce ...
- RDS关系型数据库 入门 01 创建关系型数据库实例【华为云分享】
[摘要] 关系型数据库(Relational Database Service,简称RDS)是一种基于云计算平台的即开即用.稳定可靠.弹性伸缩.便捷管理的在线关系型数据库服务.RDS具有完善的性能监控 ...
- 关于sqoop增量导入oracle的数据到HDFS的出现的错误总结
今天在将公司的oracle的数据抽取到hive当中,根据时间字段做增量插入,然后合并采用按照id唯一主键的方式进行合并操作. 下面的代码是增量导入的操作shell脚本 #!/bin/bash date ...
- BCP 导入导出数据库数据
使用 bcp 将数据库迁移到 Azure SQL Database --所有 都是在本机sql上运行 --先开启cmdshell EXEC sp_configure 'show advanced op ...
- solr 7 mysql导入_solr 7.7.0 windows 导入mysql数据库数据
接上一篇 准备导入数据 首先修改hello/cong目录下的solrconfig.xml文件,添加如下节点: data-config.xml 新建一个data-config.xml文件,与solrco ...
- bcp导入到mysql_BCP 导入导出数据库数据
使用 bcp 将数据库迁移到 Azure SQL Database --所有 都是在本机sql上运行 --先开启cmdshell EXEC sp_configure 'show advanced op ...
- Shp文件导入MySql数据库工具包,只是针对于8.0+以上版本定制开发
由于最新的geotools工具类不支持8.0+以上的MySQL数据库,故而开发该工具用于数据处理.采用javaFX开发的一个很简单的数据导入工具,对于5.0+的版本,大家参考网上的相关代码即可,也可在 ...
最新文章
- 构造函数以及this
- Java中Set集合是如何实现添加元素保证不重复的?
- linux系统如何进行录屏
- 用Python 给你的个人微信朋友圈数据生成一本电子书吧!
- create document history via code
- PHP 织梦 帝国那个好,帝国、PHPCMS及织梦对比(十):推荐位功能
- 涉及子模块_COMSOL Multiphysics 5.6 RF模块更新详解
- Helm 3 完整教程(十三):Helm 函数讲解(7)列表函数
- 泛化误差,交叉验证和特征选择
- 扩展卡尔曼滤波EKF—目标跟踪中的应用(算法部分)
- java overload
- android10存储空间不足怎么清理,手机磁盘空间不足怎么清理?详细介绍
- wps教鞭功能_你未必知道的WPS神奇功能
- jsencrypt加密,并解决Message too long for RSA
- k8s 实战 - kubectl logs - 外传
- 2018上交软科计算机科学排名,2018年上海软科世界一流学科排名出炉!
- 如何使LED灯泡变暗---凯利讯半导体
- linux修改配置文件configure,./configure 的配置和用法
- MMGG测评 感动全球的链上自走棋——HeroesEmpires游戏拆解
- 如何使用几何体画人体结构?几何体画人体结构技巧!