hive mysql互导_利用Sqoop实现Hive的数据与MySQL数据的互导
1. 配置概览
Hive arguments:
--create-hive-table Fail if the target hive table exists
--hive-database Sets the database name to use when importing to hive
--hive-delims-replacement Replace Hive record \0x01 and row delimiters (\n\r) from imported string fields with user-defined string
--hive-drop-import-delims Drop Hive record \0x01 and row delimiters (\n\r) from imported string fields
--hive-home
--hive-import
--hive-overwrite Overwrite existing data in the Hive table
--hive-partition-key Sets the partition key to use when importing to hive
--hive-partition-value Sets the partition value to use when importing to hive
--hive-table Sets the table name to use when importing to hive
--map-column-hive Override mapping for specific column to hive types.
2. 把MySQL表中数据导入到hive表中
drop table if exists hive_users;
create table hive_users (id string,name string,age int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t';
[root@repo bin]# ./sqoop import \
--connect jdbc:mysql://192.168.9.100:3306/test \
--username root \
--password 123456 \
--table users \
--fields-terminated-by '\t' \
--num-mappers 1 \
--hive-import \
--hive-database default \
--hive-table hive_users \
--delete-target-dir
hive> select * from hive_users;
OK
1 Jed 15
2 Tom 16
3 Tony 17
4 Bob 18
5 Harry 19
6 Jack 20
3. 把hive表中数据导入到MySQL表中
mysql> create table users_from_hive (id int,name varchar(10),age int,primary key (`id`));
[root@repo bin]# ./sqoop export \
--connect jdbc:mysql://192.168.9.100:3306/test \
--username root \
--password 123456 \
--table users_from_hive \
--input-fields-terminated-by '\t' \
--export-dir /hive_single_user/warehouse/hive_users \
--num-mappers 1
mysql> select * from users_from_hive;
+----+-------+------+
| id | name | age |
+----+-------+------+
| 1 | Jed | 15 |
| 2 | Tom | 16 |
| 3 | Tony | 17 |
| 4 | Bob | 18 |
| 5 | Harry | 19 |
| 6 | Jack | 20 |
+----+-------+------+
注意:
在sqoop-1.4.6以前,从MySQL中导出数据到hive表中,不能指定文件格式为parquet,只能先导入到HDFS,在从HDFS上load parquet file
4. 把sqoop命令写到文件中,sqoop执行时使用这个文件来执行命令
[root@repo myshell]# vim sqoop-options-test
--connect jdbc:mysql://192.168.9.100:3306/test \
--username root \
--password 123456 \
--target-dir /user/root/SQOOP/import/users_options \
--num-mappers 1
[root@repo bin]# ./sqoop import \
--options-file /root/myshell/sqoop-options-test \
--table users_from_hive
[root@repo bin]# hdfs dfs -cat /user/root/SQOOP/import/users_options/*
1,Jed,15
2,Tom,16
3,Tony,17
4,Bob,18
5,Harry,19
6,Jack,20
注意:
(1) 选项在文件中与手工设定可以同时使用
(2) 可以在选项文件中写注释,# …
hive mysql互导_利用Sqoop实现Hive的数据与MySQL数据的互导相关推荐
- 利用sqoop将hive数据导入导出数据到mysql
http://niuzhenxin.iteye.com/blog/1726414 运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司 ...
- sqoop同步hdfs与mysql端口_使用Sqoop将数据在HDFS与MySQL互导
1.去官网下载sqoop,直接百度即可 2.解压后进入conf目录 guo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop ...
- hive后台启动_数据仓库组件:Hive环境搭建和基础用法
一.Hive基础简介 1.基础描述 Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取.转化.加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓库工 ...
- bigint hive java类型_三十、Hive的数据类型以及常用的属性配置
上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上,本文介绍一下Hive的数据类型以及常用的一些属性配置.关注专栏<破茧成蝶--大数据篇>,查看更多相关的内 ...
- xunsearch与mysql区别_利用 Xunsearch 搭建搜索引擎、内容搜索实战
1,安装 GCC 依赖 任务时间:10min ~ 20min 部分用户在安装时,后面的步骤会出错,是因为安装依赖时没注意到GCC,GCC++,很多教程只给出了一种依赖的安装,结果导致后面出现错误.这里 ...
- iis与mysql关联_利用Advanced Installer将asp.netMVC连同IIS服务和mysql数据库一
利用Advanced Installer将asp.netMVC连同IIS服务和mysql数据库一 利用Advanced Installer将asp.netMVC连同IIS服务和mysql数据库一块打包 ...
- gearman mysql编译_利用gearman实现redis缓存mysql
环境: centos6.5 mysql5.6 gearman简介: Gearman是一个支持分布式的任务分发框架.设计简洁,获得了非常广泛的支持.一个典型的Gearman应用包括以下这些部分: Gea ...
- mysql 是如何利用索引的_10 分钟搞明白 MySQL 是如何利用索引的!
一.前言 在MySQL中进行SQL优化的时候,经常会在一些情况下,对MySQL能否利用索引有一些迷惑. 譬如: MySQL 在遇到范围查询条件的时候就停止匹配了,那么到底是哪些范围条件? MySQL ...
- 钉钉一行代码_利用Python快速搭建钉钉和邮件数据推送系统
前面的文章我们写到了利用Python实现钉钉和邮件的数据推送,在数据处理这一块实现了对mysql和odps的数据获取和处理,可以满足常规业务大部分数据场景需求,在一家初创公司数据基础建设还不完善的时候 ...
最新文章
- 客快物流大数据项目(二十五):初始化业务数据
- android 比较两个list,比较两个List的内容是否相等
- 转载--编写高质量代码:改善Java程序的151个建议(第5章:数组和集合___建议60~64)
- JDBC基础知识复习
- html调用阅读模式,easyread.js—给网站开启阅读模式html教程
- 谈谈计算机专业职业技能,计算机专业职业技能论文
- python读取fiddler_Python3.x+Fiddler抓取APP数据
- AD09铺铜 (画完PCB后改线与铺铜冲突)
- 什么是 Servlet 容器?
- Win7便签快捷键大全
- 惯性系统常用坐标系_惯性导航技术中,NEU是什么坐标系?
- Linux系统备份及迁移到新硬盘
- 大数据时代 无处安放的隐私数据
- web实现微信9宫格
- threejs LOD
- 3D模型欣赏:大眼短发战斗萝莉 游戏角色
- 服务器ccc认证测试项目,CCC强制性认证包含哪些检测项目?
- 富文本转化为普通文本
- 梦想CAD控件网页版右键弹出菜单
- 帝国cms 产品筛分插件,亲测有效。
热门文章
- 动态数据的国际化、几种主要的国际化标签
- 广东中国科学院计算机网络信息中心,中国科学院
- java list 之详解_Java高级技术之List详解
- MySQLSyntaxErrorException: Table 'taotao.tbuser' doesn't exist
- ubuntu 16.04 nfs服务的搭建
- SQL Server中时间格式转换函数convert()的使用
- js关闭当前页面窗口的问题
- LWP 轻量级线程的意义与实现
- Jquery重新学习之五[操作JSON数据]
- 52 - 算法 - LeetCode 20 数据结构类 stack