Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响

背景信息：

本文用Sqoop实现MySQL中数据向Hive数据的抽取，研究在修改MySQL中数据以及表结构对抽取结果的影响

环境：

cloudera VM（包含Hadoop生态各组件），并在此VM中安装MySQL

初始状态：

Mysql中表数据如下所示：

利用SQOOP从MySQL向Hive同步数据：

源表mysql:wht.people

目的表：Hive: db01.people

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

在HUE中查询Hive中数据：

场景一

修改MySQL中数据，重新同步，检查Hive中数据是否会被更新

结论：Hive中的数据会被更新

推测：数据文件被删除后重新进行了抽取

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景二

增加/删除MySQL中数据，重新同步，检查Hive中数据是否会被增加

结论：Hive中的数据会增加/删除

推测：应该是被删除后重新进行了抽取

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景三

修改MySQL中表结构，增加一列，检查Hive中表结构是否会被同步修改

现象：源表中的新增列没有被同步过来

推测：应该只有数据文件被重建，但是元数据不会被修改

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

场景四

修改MySQL中表结构，删除一列，检查Hive中表结构是否会被同步修改

现象：源表中的删除列在Hive显示值为NULL

推测：应该只有数据文件被重建，但是元数据不会被修改

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1

Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响相关推荐

mysql schema 同步_GitHub - naryn/mysql-schema-sync: mysql表结构自动同步工具
mysql-schema-sync mysql表结构自动同步工具用于将线上数据库结构变化同步到本地环境! 支持功能: 同步新表同步字段变动:新增.修改同步索引变动:新增.修改支持预览 ...
查看修改MySQL表结构命令
查看修改MySQL表结构命令简述小编经常会遇到一些数据库编码不对得问题,好TM头疼,这里做一个记录,供大家参考. 修改数据库字符集: ALTER DATABASE db_name DEFAULT ...
复制表、复制表结构、复制数据
完全复制表(含表结构+表数据) create table 新表名 as select * from 需要复制的表名; 复制表部分字段和数据 CREATE TABLE 新表名(列1,列2 ...
Sql Server 数据库，只复制表结构不复制表数据如何操作？
Sql Server 数据库,只复制表结构不复制表数据如何操作? 1.选中要复制的数据库 2.右键 3.任务 4.生成脚本 5.弹出生成数据库对象的脚本窗口,点下一步 6.选择要编写脚本的数据库对象, ...
Mysql创建表结构及插入数据代码
Mysql创建表结构及插入数据代码 CREATE TABLE `user` (`id` int(11) NOT NULL auto_increment,`username` varchar(255) ...
mysql gh 划线,gh-ost：在线DDL修改MySQL表结构工具
在之前,我分享过一次pt-online-schema-change在线DDL的工具实践记录,在实际使用过程中,发现部门的很多老系统大量使用了触发器,从而无法使用这个工具,非常遗憾!导致很多DDL变更都 ...
快速生成sparksql创建carbondata表结构（同步mysql或sqlserver数据）脚本
前言当实时同步mysql或sqlserver很多表数据到carbondata时,经常要手动调整脚本涉及到的每个表的字段.类型及对应建表语句,耗费大量的机械比对粘贴复制工作时间.精力,下面介绍的脚本能 ...
修改mysql表结构语句
昨天在执行碰到几个报错,总提示缺少mysql表结构里的字段什么的,当时有点没头绪不知道从哪里着手,再次记录一下修改表结构的语句,保证下次不会在出现此类问题; mysql 修改表结构语句 ALTER T ...
java修改数据库表结构_数据库设计(一)：设计传统系统表结构（Java开发）
以下文章来源于微信公众号程序编程之旅 ,作者陈浩翔此处仅供本人学习记录之用,侵删本篇为第一篇.讲解传统系统的表结构设计(Java开发). 讲讲如何避免数据库设计的一些坑,方便后期的开发与维护. ...

Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响

背景信息：

环境：

初始状态：

场景一

场景二

场景三

场景四

Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响相关推荐

最新文章

热门文章