利用mysql元数据自动生成hive建表语句

数仓搭建的过程中，需要将业务数据导入到hive中，但是业务表较多，建表成为一个效率瓶颈。可以利用mysql的元数据库INFORMATION_SCHEMA ,其中COLUMNS和 TABLES这两张表记录了我们需要的表名，列名，comemnt等信息。

下面是生产中实际用到的一个案例sql，在使用时可以根据自己公司的规范进行修改：可以往where table name中添加多张表，实现批量创建

SELECT CONCAT('create table if not exists ods.ods_',schema_table, ' (',column_info,') comment \'', TABLE_COMMENT, '\' partitioned by (p_date string) ROW FORMAT DELIMITED FIELDS TERMINATED BY \'\\001\' stored as orc',' location \'hdfs://emr-cluster/user/hive/warehouse/fle_ods.db/ods_',schema_table, '\' TBLPROPERTIES ("orc.compress" = "snappy");')
FROM (SELECT TABLE_NAME,table_schema,schema_new,concat(schema_new,'_',TABLE_NAME,'','_di') as schema_table,TABLE_COMMENT,group_concat(CONCAT(COLUMN_NAME, ' ', DATA_TYPE, ' comment ', '\'', COLUMN_COMMENT, '\'')) AS column_infoFROM (SELECT t1.TABLE_NAME,t1.table_schema,case when t1.table_schema ='test' then 'other_test' when t1.table_schema='order_test' then 'ods_order' else '??' end as schema_new,t2.TABLE_COMMENT,COLUMN_NAME,CASEWHEN DATA_TYPE = 'varchar' THEN 'string'WHEN DATA_TYPE = 'int' THEN 'string'WHEN DATA_TYPE = 'tinyint' THEN 'string'WHEN DATA_TYPE = 'decimal' THEN 'string'WHEN DATA_TYPE = 'datetime' THEN 'string'WHEN DATA_TYPE = 'timestamp' THEN 'string'WHEN DATA_TYPE = 'float' THEN 'string'WHEN DATA_TYPE = 'double' THEN 'string'when DATA_TYPE = 'bigint' THEN 'string'WHEN DATA_TYPE = 'smallint' THEN 'string'WHEN DATA_TYPE = 'tinyint' THEN 'string'WHEN DATA_TYPE = 'date' THEN 'string'WHEN DATA_TYPE = 'boolean' THEN 'string'WHEN DATA_TYPE = 'time' THEN 'string'END AS DATA_TYPE,COLUMN_COMMENTFROM COLUMNS t1JOIN TABLES t2 ON t1.TABLE_NAME = t2.TABLE_NAMEWHERE t1.TABLE_NAME in ('test_table_1','table_2')) t3GROUP BY TABLE_NAME, TABLE_COMMENT) t4

利用mysql元数据自动生成hive建表语句相关推荐

Excel自动生成sql建表语句
ETL开发中重新整理很多表结构,写建表语句又是一件头疼的事情,干脆借鉴网友的代码,自己写了一个自动生成建表sql的模板. 模板下载:http://download.csdn.net/detail/en ...
1.python 根据 oracle字段名和类型生成 hive建表语句
一.问题遇到一个场景,要根据oracle表结构创建hive表. 本来想写一个根据oracle信息和表名自动在hive中创建表的脚本.如果在集群运行,python操作oracle的cx_Oracle在 ...
mysql分片建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...
mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...
使用java代码编写脚本，把oracle建表语句变成hive建表语句
使用java代码编写脚本,把oracle建表语句变成hive建表语句 java代码测试oracle.sql 生成hive创表语句 java代码 import java.io.File; import ...
hive建表语句_Hive数据如何同步到MaxCompute之实践讲解
摘要:本次分享主要介绍 Hive数据如何迁移到MaxCompute.MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的 ...
Oracle、Hive建表语句
1.Oracle建表 drop table T_PSSC_TRAN_PORTRAIT_CENTER; create table T_PSSC_TRAN_PORTRAIT_CENTER ( OBJ_ID ...
小技巧:用python迅速打印Java写的Flink代码中的hive建表语句
假设我们想要用Flink对hive进行读写, 并且其中一段代码如下: // 如果hive中已经存在了相应的表,则这段代码省略String hiveSql = "CREATE external ...
SpringBoot自动运行sql建表语句
1.在Resources下添加建表的sql语句 2.配置文件 application.yml spring:datasource:username: rootpassword: adminurl: j ...
hsqldb mysql 语法_[spring batch]建表语句（hsqldb改mysql）
/** * @see https://spring.io/guides/gs/batch-processing/ */ @Configuration @EnableBatchProcessing pu ...

利用mysql元数据自动生成hive建表语句

利用mysql元数据自动生成hive建表语句相关推荐

最新文章

热门文章