MySQL通过接口导入hive_利用Sqoop将MySQL数据导入Hive中

参考

http://www.cnblogs.com/iPeng0564/p/3215055.html

http://www.tuicool.com/articles/j2yayyj

http://blog.csdn.net/jxlhc09/article/details/16856873

1.list databases

sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --password sqoop

2.用sqoop创建hive表

sqoop create-hive-table --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --hive-database db_hive_edu

3.import数据

#sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --fields-terminated-by ',' --hive-import --hive-database db_hive_edu -m 1

--fields-terminated-by ',' 导致数据变成null

sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --username root -password 'xx' --table employee --hive-import --hive-database db_hive_edu -m 1

截图

如果需要实时同步，不再手动，参考

利用Flume将MySQL表数据准实时抽取到HDFS - wzy0623的专栏 - 博客频道 - CSDN.NET

这才是最正确的解决方案

本文转自 liqius 51CTO博客，原文链接：http://blog.51cto.com/szgb17/1941914，如需转载请自行联系原作者

MySQL通过接口导入hive_利用Sqoop将MySQL数据导入Hive中相关推荐

sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录问题一.问题是什么导致的? 二.验证问题总结问题 sqoop将oracle数据导入到hive报错:Error: jav ...
Polyworks脚本开发学习笔记(四)-利用FILE IMPORT进行数据导入及对齐
Polyworks脚本开发学习笔记(四)-利用FILE IMPORT进行数据导入及对齐导入参考及数据 FILE IMPORT_REFERENCE导入参考的CAD文件如igs格式括号内参数分别为(导 ...
从 Neo4j 导入 Nebula Graph 实践见 SPark 数据导入原理
本文主要讲述如何使用数据导入工具 Nebula Graph Exchange 将数据从 Neo4j 导入到 Nebula Graph Database.在讲述如何实操数据导入之前,我们先来了解下 Ne ...
利用Sqoop将MySQL海量测试数据导入HDFS和HBase
声明:作者原创,转载注明出处. 作者:帅气陈吃苹果一.安装Sqoop 1.下载sqoop,解压.文件夹重命名 wget http://mirror.bit.edu.cn/apache/sqoop/1 ...
sqoop从mysql导入hdfs_3.使用sqoop从mysql 导入数据到hdfs
使用sqoop从mysql 导入数据到hdfs 注意: 需要将mysql的jdbc驱动包放到lib目录下在conf目录中,执行 cp sqoop-env-template.sh sqoop-env. ...
Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出（强烈建议去看）（十八）...
把MySQL里的数据导入到HDFS 1.使用MySQL工具手工导入把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句. 为了导出整个数据表或整个数据库的内容,MyS ...
【华为云技术分享】使用sqoop导入mysql数据到hive中
Sqoop 是一个数据转储工具,它能够将 hadoop HDFS 中的数据转储到关系型数据库中,也能将关系型数据库中的数据转储到 HDFS 中. Apache Sqoop,是"SQL to ...
sqoop将hbase数据导入mysql_Sqoop将mysql数据导入hbase的血与泪
Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天) 版权声明:本文为yunshuxueyuan原创文章. 如需转载请标明出处: https://my.oschina.net/yunsh ...
利用python将excel数据导入mySQL
主要用到的库有 xlrd 和 pymysql , 注意pymysql不支持python3 篇幅有限,只针对主要操作进行说明连接数据库首先pymysql需要连接数据库,我这里连接的是本地数据库(数据 ...

MySQL通过接口导入hive_利用Sqoop将MySQL数据导入Hive中

MySQL通过接口导入hive_利用Sqoop将MySQL数据导入Hive中相关推荐

最新文章

热门文章