mysql数据与Hadoop之间导入导出之Sqoop实例
前面介绍了sqoop1.4.6的 如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令。
显示mysql数据库的信息,一般sqoop安装测试用
sqoop list-databases --connect jdbc:mysql://192.168.2.101:3306/ --username root --password root
显示数据库里所有表:
sqoop list-tables --connectjdbc:mysql://192.168.2.101:3306/FlowDB --username root -password root
mysql导入到hdfs中
sqoop import --connect jdbc:mysql://192.168.2.101:3306/FlowDB --username root --password root --table WorkTable --fields-terminated-by '\t' -m 1
sqoop ##sqoop命令
import ##表示导入
--connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc,连接mysql的url
--username root ##连接mysql的用户名
--password admin ##连接mysql的密码
--table aa ##从mysql导出的表名称
--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符
--target-dir/user/hadoop/databases/ssa/fin_cashier_order
-m 1 ##复制过程使用1个map作业
若是不写--target-dir 则默认是hdfs上的user/username/tablename 路径
如果重复执行,会提示目录已经存在,可以手动删除
该命令执行结束后,观察hdfs的目录/user/{USER_NAME},下面会有一个文件夹是aa,里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容,字段之间是使用制表符分割的。
查看HDFS上的文件
hadoop fs -cat /user/jzyc/WorkTable/part-m-00000
hdfs导出到mysql中
把上一步导入到hdfs的数据导出到mysql中。我们已知使用制表符分隔的。那么,我们现在数据库FlowDB中创建一个数据表叫做WorkTable_hdfs,里面有两个字段。然后执行下面的命令
sqoop export --connect jdbc:mysql://192.168.2.101:3306/FlowDB --table WorkTable_hdfs --username root --password root --export-dir /user/jzyc/WorkTable/ --input-fields-terminated-by '\t'
sqoop导入视图到hdfs
sqoop import --connect jdbc:mysql://192.168.2.101:3306/FlowDB --username root --password root --query 'SELECT * FROM view_WorkTable WHERE \$CONDITIONS' -m 1 target-dir /user/jzyc/WorkTable --delete-target-dir --fields-terminated-by ","
将数据从关系数据库导入文件到hive表中,--query 语句使用
sqoop import --append --connect jdbc:mysql://192.168.2.101:3306/FlowDB --username root --password root --query "SELECT ID,Classify,Name,ModelType,CreateDate,CreateUserID,DesignJSON,Status from WorkTable where \$CONDITIONS" -m 1 --target-dir /hive/warehouse/WorkTable --fields-terminated-by ","
将数据从关系数据库导入文件到hive表中,--columns --where 语句使用
sqoop import --append --connect jdbc:mysql://192.168.2.101:3306/FlowDB --username root --password root --table WorkTable --columns "ID,Classify,Name,ModelType,CreateDate,CreateUserID" --where "Classify = 1" -m 1 --target-dir /hive/warehouse/WorkTable2 --fields-terminated-by ","
注意:--target-dir/hive/warehouse/WorkTable2 可以用 --hive-import --hive-table WorkTable2 进行替换
从上面的信息可以看到sqoop还是走的hadoop的M/R引擎。
以上只是一些经过验证通过的简单的示例,更复杂的有待后续补充。
mysql数据与Hadoop之间导入导出之Sqoop实例相关推荐
- MYSQL常用命令大全(导入导出、创建、单多表查询(超详细)、授权)
MYSQL常用命令 一.导入导出 1.导出整个数据库 mysqldump -u 用户名 -p --default-character-set=latin1 数据库名 > 导出的文件名(数据库默认 ...
- oracle导出自增设置,oracle008:oracle自增,自适应,数据闪回,导入导出
oracle008:oracle自增,自适应,数据闪回,导入导出 oracle008:oracle自增,自适应,数据闪回,导入导出 一,oracle数据自增 在MySQL中自增使用主键和自增来实现,但 ...
- 大讲台浅谈大数据与Hadoop之间的关系
在现如今,随着面对当前企业级用户对于自建数据中心兴趣的不断扩大,以及大数据正在以惊人的速度增长几乎触及各行各业,而大数据是一种新兴的数据挖掘技术,它正在让数据处理和分析变得更便宜更快速.大数据技术一旦 ...
- toad导入数据_利用TOAD实现EXCEL数据在oracle的导入导出
利用TOAD实现EXCEL数据在oracle的导入导出 1.从ORACLE数据库导出成为EXCEL文件 利用TOAD连接上数据库,访问某个表,我本机是选中表"OA_USER" 右键 ...
- 大数据与Hadoop之间是什么关系
广义上讲 大数据是时代发展和技术进步的产物.Hadoop只是一种处理大数据的技术手段. "大数据"概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在<第三次浪潮&g ...
- mysql 千万级数据的导入导出
最近应公司要求,在做数据库的导入导出.经查询每天的数据量在350W条左右.经过大量测试,感觉以下方法比较好 数据导出:SELECT INTO-OUTFILE 基本语法: SELECT [INTO OU ...
- HBase数据备份及恢复(导入导出)的常用方法
一.说明 随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复机制来保证它们的企业(数据)资产.备份Hbase时的难点是其待备份的数据集可能非 ...
- Linux下导出MySQL为SQL文件_MySQL导入导出.sql文件步骤
MySQL导入导出.sql文件步骤如下: 一.MySQL的命令行模式的设置: 桌面->我的电脑->属性->环境变量->新建-> PATH=":path\mysq ...
- oracle数据库导出数据6,Oracle数据库导入导出方法汇总
Oracle数据库导入导出方法: 1.使用命令行: 数据导出: 1.将数据库TEST完全导出,用户名system密码manager导出到D:\daochu.dmp中 exp system/manage ...
最新文章
- MVC基于角色权限控制--用户管理
- 走过2011---年终总结
- 微信红包随机数字_微信红包随机算法转载
- (软件工程复习核心重点)第五章详细设计-第三节:过程设计工具
- python将xml文件转换成excel文件
- python xlwt模块下载_python 的xlwt模块
- 思科服务器如何重装系统,思科路由器系列软件安装与升级步骤
- 分布式事务之两阶段提交
- CCI: Representing N cents
- Nexus Repository和Docker Registry镜像仓库搭建及使用
- Leetcode 36:有效的数独(超详细的解法!!!)
- 如何提高推荐量?新手必知 头条号推荐机制
- 理解对比表示学习(Contrastive Learning)
- react-native中react-native-render-html的使用(不崩溃)
- wdcp mysql configure error_install Error: mysql configure err
- 如何修改linux中的文本格式
- 面向端到端的情感对话生成研究综述
- 简单操作拥有Win7/XP双系统
- 动态规划---01背包问题详解
- 英语水平不强,如何写出高质量英文论文?五个英语写作辅助和润色软件!
热门文章
- 求连通域面积matlab
- Virtual DOM(虚拟dom-1)
- 北林oj-算法设计与分析-Simple Count(C++,思路+代码)
- java transferto_小六六学Netty系列之Java 零拷贝
- 上海计算机一级考试2017,2017年上海计算机一级考试试题
- import是引进外部函数吗_CMake之引入外部项目的三种方法
- (C/C++) Link List - C++ 版本
- c++刷题(18/100)树
- RDC出库财务计费逻辑
- .net跨防火墙链接oracle连接池链接长时间无通讯数据被断开后报错问题解决