如何完美解决Sqoop导入导出MySQL数据错位问题

我发现小伙伴们在使用Sqoop把数据从MySQL导入到Hive的过程中经常会遇到数据错位的问题，虽然最后都是通过添加参数的方法来解决这个问题，但是我认为这并不是一个完美的解决方案，所以花了一点时间研究了一下Sqoop。

Sqoop是连接关系型数据库和Hadoop的桥梁，主要有两个功能：

（1）将关系型数据库的数据导入到Hadoop及其相关的系统中，如HDFS、Hive和HBase；

（2）将数据从Hadoop系统里抽取并导出到关系型数据库中，如MySQL、Oracle。

Sqoop会把输入的命令转换成MapReduce任务，可以并行计算，因此性能非常好。

一个最简单的MySQL数据导入到Hive的例子：

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username root \
--password '123456' \
--table employee \
--hive-import \
--fields-terminated-by '\001' \  # 指定字段分隔符
--create-hive-table \
--hive-database test \
--hive-table employee \
-m 1

如果数据中本身就存在分隔符（\001）或换行符（\n、\r），那么使用这种方式导入Hive就会存在数据错位的问题。

网上查找出的解决办法几乎都是通过添加参数来解决：

可以使用--hive-drop-import-delims选项在导入时删除这些字符，或者使用--hive-delims-replacement选项在导入时将这些字符替换为自定义的字符串，以保证数据与Hive的文本数据格式兼容。

--hive-drop-import-delims# 导入到Hive时，从字符串字段中删除\n、\r和\001；
--hive-delims-replacement：   # 在导入到Hive时，将字符串字段中的\n、\r和\001替换为用户定义的字符串。

但是这种方案存在以下三个问题：

（1）指定的分隔符只能是：\001；

（2）一些特殊数据类型不能被正确地处理，如Oracle的CLOB类型；

（3）由于会删除数据中的一些符号，这会导致目标数据与源数据不一致。

正因为存在这些问题，所以我说此操作不是一个完美的解决方案。我仔细思考了一下，发现其实引起数据错位的根本原因是采用了文本文件格式（textfile），那么数据本身存在的分隔符或换行符将会导致这行数据不能被正确的解析。我们知道Hadoop系统是支持列式存储文件格式的，而这种格式是不依赖分隔符来解析的，也不受换行符的影响，那么如果Sqoop采用列式存储格式的话是不是就可以完美解决数据错位问题了呢。经过研究和反复测试验证，得出以下结论：

（1）Sqoop采用列式存储格式（Parquet、ORC）可以完美解决数据错位问题；

（2）Sqoop本身直接支持Parquet格式，但是在export的时候会报错（这个Bug官方没有修复），只能通过Hcatlog的方式解决；

（3）Sqoop集成了Hcatlog工具，因此可以支持ORC格式。

下面给出我认为可以完美解决Sqoop导入/导出MYSQL数据错位问题的最佳实践：

# 先在Hive中创建ORC表
CREATE TABLE `test.employee`(`id` int, `name` string, `age` int)
STORED AS ORC;# 再使用Hcatlog的方式把数据从MySQL导入到Hive ORC表
sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username root \
--password '123456' \
--table employee \
--hcatalog-database test \
--hcatalog-table employee \
-m 1# 如果数据需要从Hive导出到MySQL则使用以下命令
sqoop export \
-Dsqoop.export.records.per.statement=10 \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username root \
--password '123456' \
--table employee \
--update-key id \
--update-mode allowinsert \
--batch \
--hcatalog-database test \
--hcatalog-table employee \
-m 1

最后再说一下HCatalog方式与Sqoop方式两者的区别：

（1）数据格式

Sqoop方式支持的数据格式较少，HCatalog支持的较多，比如Sqoop方式不支持ORC格式的表，但是HCatalog支持。

（2）数据增加形式

Sqoop方式允许数据覆盖，HCatalog不允许数据覆盖，每次都只是追加。

（3）字段一致性

Sqoop方式比较随意，不要求源表和目标表字段相同（字段名称和个数都可以不相同），它抽取的方式是将字段按顺序插入，比如目标表有三个字段，源表只有一个字段，它会将数据插入到Hive表的第一个字段，其余字段为NULL。但是HCatalog不同，源表和目标表字段名需要相同，字段个数可以不相等，如果字段名不同，抽取数据的时候会报NullPointerException错误。HCatalog抽取数据时，会将字段对应到相同字段名的字段上，哪怕字段个数不相等。

如何完美解决Sqoop导入导出MySQL数据错位问题相关推荐

导入导出mysql数据库命令
还原或者导入数据库命令: mysql -u root --password=root 备份数据库命令: mysqldump -u root --password=root --database hel ...
使用 Sqoop 将 30W+ MySQL 数据导入 Hive
本实验完成的是,使用 Sqoop 从 MySQL 导出数据到 Hive. 整体步骤分为: 初始化 MySQL 的 30W+ 数据安装配置 Sqoop 在 Hive 中初始化目标表 Sqoop 脚本实 ...
linux下导入、导出mysql数据库命令下载文件到本地
一.下载到本地 yum install lrzsz sz filename 下载 rz filename 上传 linux下导入.导出mysql数据库命令一.导出数据库用mysqldump命令( ...
mysqldump导入导出mysql数据库
mysqldump导入导出mysql数据库 mysqldump导入导出mysql数据库 2011-02-21 16:33 数据库的基本导入\导出的命令是 mysqldump 和 source 在li ...
phpstudy mysql端口_完美解决phpstudy安装后mysql无法启动（无需删除原数据库，无需更改任何配置，无需更改端口）直接共存...
今天学习php,当然是要先安装好运行环境了,phpstyudy是一个运行php的集成环境, 一键安装对新手很友好,与时作为一个新手,便跟着教程安装了phpstudy集成环境. 很快安装好了,嗯.对新手 ...
mysql删除端口配置文件_完美解决phpstudy安装后mysql无法启动（无需删除原数据库，无需更改任何配置，无需更改端口）直接共存...
今天学习php,当然是要先安装好运行环境了,phpstyudy是一个运行php的集成环境, 一键安装对新手很友好,与时作为一个新手,便跟着教程安装了phpstudy集成环境. 很快安装好了,嗯.对新手 ...
toad导入数据_Oracle 使用TOAD实现导入导出Excel数据
在Oracle应用程序的开发过程中,访问数据库对象和编写SQL程序是一件乏味且耗费时间的工作,对数据库进行日常管理也是需要很多SQL脚本才能完成的.Quest Software为此提供了高效的Orac ...
docker导出mysql_Docker 导出 mysql 数据
前言前几天无意中在社区看到一个帖子(记一次清空数据仓库的过程),讲的是自己无意中删库的经历.如文中所讲,大多时候删库这件事我们只是耳闻,并没有遇到过,可要是万一呢,到时候恐怕是追悔莫及,而且 mys ...
PHPExcel使用-使用PHPExcel导出文件-导出MySQL数据
现在数据库里面有一组数据,我们将它按照不同的难度进行分sheet. 首先我们需要写一个mysql的配置文件- db.config.php(utf-8编码) : <?php $dbconfig= ...

如何完美解决Sqoop导入导出MySQL数据错位问题

如何完美解决Sqoop导入导出MySQL数据错位问题相关推荐

最新文章

热门文章