Sqoop 将 Mysql 的数据导入到 Hive 中

准备Mysql 数据

如图所示，准备一张表，数据随便造一些，当然我这里的数据很简单。

编写命令

编写参数文件

个人习惯问题，我喜欢把参数写到文件里，然后再命令行引用。

vim mysql-info，

# 配置数据库连接信息
--connect
jdbc:mysql://192.168.33.11:3306/sqoop_test
--username
root
--password
123456

vim hive-info

# 配置 hive
--hive-import
--hive-database
default
--hive-table
test_aaa

Hive 提供了可以直接将 mysql 导入 hive 的工具。其实底层还是 mysql --> hdfs --> hive 的步骤。

运行

sqoop-import --options-file mysql-info --table table_test -m 1 --options-file hive-info

sqoop-import 是导入命令，后面指定参数文件。

运行结束，可以看到 hive 仓库对应的目录下多了一张表。

也可以在 hive> 下查看，

遇到的问题

找不到 org.apache.hadoop.hive.shims

这个类是 Hive 的，在 Hive 目录下找到这个包(注意，为了保险起见，把 shims 相关的 jar 包全部复制过去)复制到 sqoop 目录下就可以了。

用sqoop将mysql的数据导入到hive表中，原理分析相关推荐

用sqoop将mysql的数据导入到hive表
一.先将mysql一张表的数据用sqoop导入到hdfs 1.1.先在mysql中准备一张测试用的表 mysql> desc user_info; +-----------+---------- ...
hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
MySQL 定时任务event 按天建表并将前一天数据导入新建的表中并删除总表数据实现分表功能
需求:实现日志系统保存日志信息到数据库,由于日志信息量巨大,需要每天一张表来管理数据. 思路:总表不能改变,因为代码中SQL语句已经写死,表名不能改变;因此我们每天定时将总表数据导入到新表中,并将总表 ...
spark抽取mysql数据到hive_使用spark将内存中的数据写入到hive表中
使用spark将内存中的数据写入到hive表中 hive-site.xml hive.metastore.uris thrift://master:9083 Thrift URI for the re ...
使用SSIS包将多个Excel文件中的数据导入SQL Server表中
This article explores an SSIS package for importing multiple Excel files data into SQL Server tables ...
存在的hive插入数据_往hive表中插入数据以及导出数据
转载:https://blog.csdn.net/qq_26442553/article/details/80380590 转载:https://blog.csdn.net/weixin_436817 ...
将查询后的数据导入到其他表中
有测试同学来问我,可不可以只写sql就将A表数据传到B表中. 研究了下,不使用存储过程,只用sql语句实现: 一.全部字段导入(字段名必须相同) INSERT INTO demo1 SELECT * ...
将excel数据导入数据库的表中的方法
这里使用navicat操作数据库,方法不同可视化工具都是类似的,通用 1.准备好excel文件(格式如下) 也可以使用其他格式,不同格式需要在导入的时候配置一下excel对应的表字段 2.数据库建表( ...
hive中导入csv,把csv导入到hive表中步骤
本博文解决的问题: 现在我们有一个CSV格式的一个文件download.csv,里面是我们需要的数据,想把数据装入到数据impala数据库中 1.首先整理文本文件打开download.csv,选择文 ...

用sqoop将mysql的数据导入到hive表中，原理分析