巨坑：从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null

2024-06-13 07:57:55

问题描述

从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null

问题原因

Sqoop在抽取数据到Hive或者HDFS时，会自动将类型为Tinyint(1)的列转为boolean类型，这就是导致抽取到Hive或HDFS中的数据中只有0和1的原因。因为默认情况下，MySQL JDBC connector 会将Tinyint(1)映射为java.sql.Types.BIT类型，而Sqoop默认会映射为Boolean类型。

解决方案

MySQL JDBC connector上添加tinyInt1isBit=false。比如：jdbc:mysql://localhost/test?tinyInt1isBit=false

注意：如果有多个参数，需要用&符号拼接，如果是在shell脚本中执行，&符号需要转义 ‘&’

jdbc:mysql://14.21.xx.21:51x3x/${database}?zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false

官网

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_mysql_import_of_tinyint_1_from_mysql_behaves_strangely

27.2.5. MySQL: Import of TINYINT(1) from MySQL behaves strangely

Problem: Sqoop is treating TINYINT(1) columns as booleans, which is for example causing issues with HIVE import. This is because by default the MySQL JDBC connector maps the TINYINT(1) to java.sql.Types.BIT, which Sqoop by default maps to Boolean.

Solution: A more clean solution is to force MySQL JDBC Connector to stop converting TINYINT(1) to java.sql.Types.BIT by adding tinyInt1isBit=false into your JDBC path (to create something like jdbc:mysql://localhost/test?tinyInt1isBit=false). Another solution would be to explicitly override the column mapping for the datatype TINYINT(1) column. For example, if the column name is foo, then pass the following option to Sqoop during import: --map-column-hive foo=tinyint. In the case of non-Hive imports to HDFS, use --map-column-java foo=integer.

巨坑：从Sqoop导入MySQL导入TINYINT(1)类型数据到hive（tinyint），数据为null相关推荐

sqoop从mysql导入hdfs_3.使用sqoop从mysql 导入数据到hdfs
使用sqoop从mysql 导入数据到hdfs 注意: 需要将mysql的jdbc驱动包放到lib目录下在conf目录中,执行 cp sqoop-env-template.sh sqoop-env. ...
sqoop从mysql导入hive字符集的问题乱码问题
sqoop从mysql导入hive字符集的问题 Mysql都是使用utf8的字符集:所以这个与Mysql的配置无直接关系:但是可以通过修改Mysql上面的表默认字符集来解决,这个是不需要修改Hive配 ...
sqoop从mysql导入数据到hdfs_利用Sqoop将数据从数据库导入到HDFS
基本使用如下面这个shell脚本: #Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1 ...
access数据库文件导入mysql数据库文件怎么打开,Access数据库从外部数据导入文本文件和VF数据库-dbf文件怎么打开...
亲爱的小伙伴们,我们又见面了! 上一期我们学习了Access数据库从外部数据导入Excel文件,下图学生成绩表2就是我们新导入的数据: 导入Excel文件今天我们来学习如何从外部数据导入文本文件和V ...
sqoop抽取mysql的mediumtext字段类型，被转成ASCII
在使用sqoop抽取mysql中到hive时,其中两个字段数据发生了如下变化: 明显该字段被转成了ascii类型,查看Mysql中数据库表字段是mediumtext类型. 估计是不识别这种类型,找了一 ...
sqoop从mysql导入hdfs_sqoop 从mysql导入数据到hdfs、hive
1.上传sqoop安装包 2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用第一类:数据库中的数据导入到HDFS上 sqoop import ...
SQOOP 从 MySQL 导入到 Hive 之 Python 脚本
目录 1.当前业务数据收集详情 2.脚本部署树形图 3.同步 sqoop + python的管理脚本到 inf 环境
Hadoop sqoop从MySQL导入数据到HDFS
c 批量导入mysql数据库_C#.NET中如何批量插入大量数据到数据库中
在WEB项目开发过程中有时会碰到批量插入数据到数或者是将EXCEL文件据入到数据库中.为了方便实现可以先将EXCEL导入到GRIDVIEW中然后一次批量插入.实现代码如下: 前台代码后台代码: // ...

最新文章

热门文章