sqoop数据导出导入命令
1. 将mysql中的数据导入到hive中
sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 --hive-table tb1 --hive-import -m 1
其中--table tb1是mysql sqoop数据库中的一张表,--hive-table tb1是导入到hive中该表的名字,不需要事先建表。
2. 将hive中的数据导入到mysql中
sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --direct --table t4 --export-dir /user/hive/warehouse/tb1/part-m-00000 --input-fields-terminated-by '\001'
--table t4是导入到mysql中表的名字,需要事先建表
3. 将mysql中的数据导入到hdfs中
sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 -m 1
4. 将hdfs中的数据导入到mysql中
sqoop export --connect jdbc:mysql://localhost:3306/sqoop --direct --table tb1 --username root --password 123456 --export-dir hdfs://localhost:9000/user/hadoop/tb1/part-m-00000 -m 1
同样需先在mysql中建立tb1表
在用sqoop将mysql中的数据导入到hdfs中,曾报以下错误:
java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@54b0a583 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.
经查询,为mysql JDBC驱动bug所致,我用的是mysql-connector-java-5.1.10-bin.jar版本的,后改为mysql-connector-java-5.1.25-bin.jar版本的就没有问题了
sqoop数据导出导入命令相关推荐
- 在pl/sql中使用exp/imp工具实现oracle数据导出/导入
在pl/sql中使用exp/imp工具实现oracle数据导出/导入 2006年11月19日 星期日 10:59 Oracle 数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令 ...
- 【redis】三种redis数据导出导入方式
文章目录 1.概述 一.redis-dump方式 二.aof方式导入 三.rdb文件迁移方式 1.概述 转载:三种redis数据导出导入方式 一.redis-dump方式 redis-dump安装 y ...
- Oracle exp/imp导出导入命令及数据库备份
Oracle exp/imp导出导入命令及数据库备份 Oracle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令 ...
- 涂抹mysql笔记-数据导出导入
数据导出导入 <>利用CSV存储引擎加载数据:CSV存储引擎基于CSV格式文件存储数据,CSV格式是纯文本格式的文件,以逗号分隔取值.CSV引擎表的所有列值不能为空.Excel可以直接打开 ...
- reids数据导出导入
redis数据导出导入 1.结构 库 ip dir地址 源库 192.168.0.15 /usr/local/redis/ 目标库 192.168.0.174 /usr/local/redis/ 1. ...
- mysql 导入 rdb_几种redis数据导出导入方式
几种redis数据导出导入方式 1 环境说明: 192.168.1.101 node1 redis源实例 192.168.1.102 node2 redis目标实例 192.168.1.103 nod ...
- 不同版本的SQL Server之间数据导出导入的方法及性能比较
原文:不同版本的SQL Server之间数据导出导入的方法及性能比较 工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论.补充. 0 ...
- 【MySQL基础篇】数据导出导入权限与local_infile参数
[MySQL基础篇]数据导出导入权限与local_infile参数 问题背景 数据导出测试 创建测试库(在主库进行) 测试数据导出(在从库进行) 测试数据导入(在主库进行) 问题背景 MySQL高可用 ...
- 3.2.3 Sqoop 数据迁移工具, 导入数据import, MySQL到HDFS/Hive, 导出数据export,增量数据导入, Sqoop job,常用命令及参数
目录 数据迁移工具 -- Sqoop 第一部分 Sqoop概述 第二部分 安装配置 第三部分 应用案例 第 1 节 导入数据import MySQL 到 HDFS MySQL 到 Hive 第 2 节 ...
最新文章
- [libjingle学习笔记]编译注意事项
- 学习Linux课程第十二天
- Hadoop如何工作? HDFS案例研究
- vector父类类型可以存放子类吗_拼夕夕三轮面经:被问到反射和泛型的bug,你踏空了吗?...
- (需求实战_终章_08)SSM集成RabbitMQ 订阅模式 关键代码讲解、开发、测试
- [BZOJ3110] [Zjoi2013]K大数查询
- 献给自己技术成长的第二年
- AT89C51/AT89S51/STC89C51单片机烧录程序的区别
- android手机刷机的作用,刷机有什么好处?为什么那么多人执着于安卓刷机
- Java实现飞机大战
- xml文件解析出现[xX][mM][lL]的解决办法
- 申请ios证书并发布uniapp软件
- 中国大学MOOC 程序设计入门——C语言 翁凯 编程测试题汇总
- 2 数据可视化大屏 - 布局
- 云桌面简介,IDV和VDI,桌面虚拟化对比
- 2020年阴历二月十七 投资理财之韭菜如何面对大跌
- POJ 1849 Two
- IPEmotion数据处理-分类元件的灵活运用——车辆制动次数的多样计算
- Python报错pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool解决方法
- 相信中国杂交水稻技术 国稻种芯:中菲农业创繁荣发展时代
热门文章
- 计算机密码忘了 开不了机怎么办,电脑设了开机密码现在忘了开不了机怎么处理?...
- java 分页原理_关于javaweb分页原理
- vite新建vue3项目采坑,官网流程之路,vite+vue3+elementpuls
- 打球崴脚,运动崴脚怎么办?这里有一份最强处置指南
- 修复版易支付源码可运营
- 第四版源码技术导航网自适应
- 判断两个数组中是否存在相同的数字
- 使用 jQuery Mobile 与 HTML5 开发 Web App (十) —— jQuery Mobile 默认配置与事件基础
- 使用 jQuery Mobile 与 HTML5 开发 Web App (四) —— jQuery Mobile 表单上
- javascript实现代码高亮