hive建表与mysql建表的区别

现在大数据时代我们一般企业里都会将数据存储在hadoop这样的分布式系统里，我们可以编写hive-sql对数据进行分析，但是一般的业务系统是基于mysql这样的关系型数据库来进行可视化的，所以将hive上的数据表调度到mysql容易踩坑的地方总结在这里，下面举个栗子来说明一下。
一、hive建表程序：
1、字符型跟mysql的字符型表示不一致,hive是string,mysql是varchar(n)
2、浮点型字段跟mysql的浮点型表示不一致,hive是float,mysql是double
3、mysql需要注意最后一个字段后面也需要加逗号

#下面的建表程序容易出错的地方我加粗进行标注，注意掉坑

create table if not exists hive_db.table1(
pred_group string,
target0 bigint,
target1 bigint,
acc_target0 bigint,
acc_target1 bigint,
cur_percnt bigint,
acc_percnt bigint,
acc_percent float,
acc_lift float,
ks float,
open_rate float,
lift float
)
COMMENT ‘模型提升度表’
PARTITIONED BY (dt BIGINT COMMENT ‘日期’)
STORED AS orcfile

#mysql建表

create table IF NOT EXISTS mysql_db.table1
(
pred_group varchar(16) COMMENT ‘分数组别’,
target0 bigint COMMENT ‘非xx数’,
target1 bigint COMMENT ‘xx数’,
acc_target0 bigint COMMENT ‘累计非xx数’,
acc_target1 bigint COMMENT ‘累计xx数’,
cur_percnt bigint COMMENT ‘每组人数’,
acc_percnt bigint COMMENT ‘累计人数’,
acc_percent double COMMENT ‘累计占比’,
acc_lift double COMMENT ‘累计提升度’,
ks double COMMENT ‘ks’,
open_rate double COMMENT ‘开户率’,
lift double COMMENT ‘提升度’,
dt bigint COMMENT ‘统计日期’, --这里注意要有逗号
primary key(pred_group,dt)
) engine=innodb default charset=utf8 comment=‘模型提升度表’

hive建表与mysql建表的区别相关推荐

oracle数据表转换为mysql数据表
oracle数据表转换为mysql数据表,或者反过来,我们可以借助navica的工具 1.打开navicat的工具->数据传输 2.选择源数据库以及目标数据库目标可以选择数据库也可以选择文件, ...
mysql 博客建表语句,mysql建表语句
mysql建表语句 (2012-08-07 13:25:20) 标签: 杂谈 create table messages( id int unsigned primary key auto_incre ...
hive查看数据库里库的信息_Hive学习之路（三）Hive元数据信息对应MySQL数据库表...
概述 Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理.上一篇hive的安装也是将元数据信息存放在MySQL数据库中. Hive的元数据信息在MySQL数据中有57 ...
mysql 表资源,MySQL 复制表的方法
1.mysqldump 执行过程: 一.将数据导出为 sql 文件. mysqldump -h$host -P$port -u$user --add-locks=0 --no-create-info ...
Flink进行Kafka事实表与Mysql维度表Join(纯DDL/DML方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
mysql 并发避免锁表_Yii+MYSQL锁表防止并发情况下重复数据的方法
本文实例讲述了Yii+MYSQL锁表防止并发情况下重复数据的方法.分享给大家供大家参考,具体如下: lock table 读锁定如果一个线程获得在一个表上的read锁,那么该线程和所有其他线程只能从 ...
linux打开mysql某张表_Linux——MySQL多表连接
本章内容会将知识点结合例题进行介绍,涉及到相关数据库表结构如下: 交叉连接:笛卡尔积,可以理解为一张表中的每条记录都会对应另一张表的根据连接条件匹配到的记录,注意是循环匹配. 交叉连接分为一般交叉连 ...
mysql没有表空间,MySQL的表空间是什么
今天我要跟你分享的话题是:"大家常说的表空间到底是什么?究竟什么又是数据表?" 这其实是一个概念性的知识点,当作拓展知识.涉及到的概念大家了解一下就好,涉及的参数,留个印象就好. ...
并发产生mysql锁表_Yii+MYSQL锁表防止并发情况下重复数据的方法
本文实例讲述了Yii+MYSQL锁表防止并发情况下重复数据的方法.分享给大家供大家参考,具体如下: lock table 读锁定如果一个线程获得在一个表上的read锁,那么该线程和所有其他线程只能从 ...

hive建表与mysql建表的区别

hive建表与mysql建表的区别相关推荐

最新文章

热门文章