sqoop2操作流程

--------------------------配置-------------------------------------
配置/home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200/server/conf
中的sqoop.properties文件以及catalina.properties文件

catalina.properties中修改如下:

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/common/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/common/lib/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/hdfs/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/hdfs/lib/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/mapreduce/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/mapreduce/lib/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/yarn/*.jar,/home/appleyuchi/bigdata/hadoop-3.0.3/share/hadoop/yarn/lib/*.jar

sqoop.properties中修改如下:

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/appleyuchi/bigdata/hadoop-3.0.3/etc/hadoop

--------------------------配置检查-------------------------------------
先运行./sqoop2-tool verify
检查配置,如果报告fail
那么检查下面的log看看是哪里的问题
/home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200/bin/@LOGDIR@/sqoop.log

---------------------------接来下是启动-------------------------------------

启动分为两步,先启动服务,然后再启动客户端:
1.
(python2.7) appleyuchi@ubuntu:~/bigdata/sqoop-1.99.5-bin-hadoop200/bin$ sqoop2-server start
2.
(python2.7) appleyuchi@ubuntu:~/bigdata/sqoop-1.99.5-bin-hadoop200/bin$ sqoop2-shell

---------------------------接来下是常见基本操作---------------------------------

set server --host 127.0.0.1 --port 12000 --webapp sqoop

sqoop:000> 模式下可以执行以下命令:

show version

show version --all(如果这里报告有exception,那么说明前面的配置没有成功)

sqoop:000> show connector
+----+------------------------+---------+------------------------------------------------------+----------------------+
| Id | Name | Version | Class | Supported Directions |
+----+------------------------+---------+------------------------------------------------------+----------------------+
| 1 | generic-jdbc-connector | 1.99.5 | org.apache.sqoop.connector.jdbc.GenericJdbcConnector | FROM/TO |
| 2 | kite-connector | 1.99.5 | org.apache.sqoop.connector.kite.KiteConnector | FROM/TO |
| 3 | hdfs-connector | 1.99.5 | org.apache.sqoop.connector.hdfs.HdfsConnector | FROM/TO |
| 4 | kafka-connector | 1.99.5 | org.apache.sqoop.connector.kafka.KafkaConnector | TO |
+----+------------------------+---------+------------------------------------------------------+----------------------+

上面的这个到底什么作用呢?
我们可以看到左侧的id有1,2,3,4,这个其实就是后面的cid,所以cid不能乱用,你想用sqoop2处理什么样的数据库,就要使用什么样的cid
所谓的cid就是connector的id

------------------------------下面是正式操作--------------------------------------------------------------------------

主要内容分为两部分:
一:
mysql导入hive
二:
hive导入mysql
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

sqoop:000> set server --host 127.0.0.1 --port 12000 --webapp sqoop

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆先创建第一个link☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

sqoop:000> create link --cid 1
注意上面的cid不是随便写的,是根据上面的
sqoop:000> show connector命令的返回结果得到的表格中第一列id查询得到的,
想用什么数据库,就在此处cid的后面使用表格中对应驱动的id

Creating link for connector with id 1
Please fill following values to create new link object
Name: mysql

Link configuration

JDBC Driver Class:com.mysql.jdbc.Driver
JDBC Connection String: jdbc:mysql://127.0.0.1:3306/employees
Username: root
Password: **********
JDBC Connection Properties:
There are currently 0 values in the map:
entry#
New link was successfully created with validation status OK and persistent id 2
sqoop:000> show link
+----+-------+-----------+---------+
| Id | Name | Connector | Enabled |
+----+-------+-----------+---------+
| 2 | mysql | 1 | true |
+----+-------+-----------+---------+

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆再创建第2个link☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
sqoop:000> create link --cid 3
Creating link for connector with id 3
Please fill following values to create new link object
Name: hdfs

Link configuration

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆启动job☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

报错:

sqoop:000> start job --jid 1
Exception has occurred during processing command
Exception: java.lang.RuntimeException Message: java.lang.ClassNotFoundException: org.apache.sqoop.driver.DriverError

这个问题网上查不到,百度和google都不行,只能放弃了...

最后只好把sqoop2给卸载了.

根据

https://stackoverflow.com/questions/41388979/what-does-sqoop-2-provide-that-sqoop-1-does-not

可知：

目前发展趋势是使用sqoop1,sqoop2面临淘汰。
------------------------------------附录----------------------------------------------------------------
二、hdfs资源uri格式：
用法：scheme://authority/path
选项：
scheme–>协议名，file或hdfs
authority–>namenode主机名
path–>路径
范例：hdfs://localhost:54310/user/hadoop/test.txt
假设已经在/home/hadoop/hadoop-1.1.1/conf/core-site.xml里配置了fs.default.name=hdfs://localhost:54310，则仅使用/user/hadoop/test.txt即可。hdfs默认工作目录为/user/$USER，$USER是当前的登录用户名。

sqoop2操作流程相关推荐

SEO的操作流程梗概
SEO的操作流程梗概影响网站排名的重要SEO因素: 1.关键词位置,特别是关键词是否在标题,这个非常重要 .关键词页面密度,只是在标题上有关键词是不够的,还需要内容中包含适量关键词 3.内容原创性. ...
树莓派小车python操作流程--龙邱科技
▌第一部分环境解决 1.1 软件版本发货前已经配置好软件环境: Linux raspberrypi 5.4.51 Python 3.7 OpenCV-python 3.4.6.27 1.2 TF卡 ...
计算机主机组装的过程,电脑主机组装需要怎样的操作流程简单至极？
原标题:电脑主机组装需要怎样的操作流程简单至极? 当今网络时代的天下,很多人都想自力更生.想靠自己动手来完成一台电脑的组装.对于一些刚入门的装机用户来说,可能觉得装机还是一件复杂的技术活,例如CPU. ...
Android提示版本号更新操作流程
Android提示版本号更新操作流程 2014年5月8日: andorid的app应用中都会有版本号更新的操作,今天空暇的时候就花了点心思弄了一下.主要技术方面用到了AsyncTask异步载入.htt ...
sqoop2从hdfs导入mysql_sqoop2相关实例：hdfs和mysql互相导入（转）
摘要:超详细讲解Sqoop2应用与实践,从hdfs上的数据导入到postgreSQL中,再从postgreSQL数据库导入到hdfs上.详细讲解创建link和创建job的操作,以及如何查看sqoop2 ...
网站建设特定操作流程了解一下不吃亏
建设一栋楼房可能只要一年的时间,但是建设一个网站可能要一生的时间,只要你有耐心,你就可以一直将网站建设下去.正所谓,学无止境,只要能够掌握好基础网站建设知识才能制作出更高质量的网站.况且网站建设还有特 ...
python编写程序的一般步骤-Python编写win程序的操作流程
今天给大家讲的是Python怎样编写win程序的方法,对Python编写win程序的操作流程感兴趣的同学们就一起学习下具体方法吧! Python编写win程序的操作流程 1.在app.py同一目录下建 ...
Git客户端图文详解如何安装配置GitHub操作流程攻略
Git客户端图文详解如何安装配置GitHub操作流程攻略软件应用爱分享 3个月前 (08-15) 8896浏览 0评论 Git介绍分布式 : Git版本控制系统是一个分布式的系统, 是用来 ...
Sqoop2入门之导入关系型数据库数据到HDFS上(sqoop2-1.99.4版本)
sqoop2-1.99.4和sqoop2-1.99.3版本操作略有不同:新版本中使用link代替了老版本的connection,其他使用类似. sqoop2-1.99.4环境搭建参见:Sqoop2环境 ...

sqoop2操作流程

sqoop2操作流程相关推荐

最新文章

热门文章