批量生成hive建表语句

这里以shell为例

方式一：生成到一个文件

#!/bin/bash
DB=dim
echo "=====导出数据库所有的表结构====="
hive -e "use $DB;show tables;"   > /root/migration/$DB/tables.txtecho "==========循环遍历表名========="
cat /root/migration/$DB/tables.txt |while read eachline
doecho "==========批量生成建表语句========="
#建表前验证是否表存在
echo "DROP TABLE IF EXISTS  $DB.$eachline;" >>/root/migration/$DB/tablesDDL.sql
hive -e "use $DB;show create table $eachline" >>/root/migration/$DB/tablesDDL.sql
#追加分号
echo ";" >> /root/migration/$DB/tablesDDL.sql
doneecho "==========建表语句生成完毕=========="

方式二：每个表单独一个文件


#!/bin/bash
#批量获取hive建表HQL脚本
#输入数据库
DB=dimmkdir dim.db
#获取hive建表语句
tables=$(hive -e "use $DB; show tables;")#生成建表文件（每个表单独一个文件）
for table in $tables;
do
echo "$(hive -e "use $DB;show create table $table;");" >> ./dim.db/$table.hql
done

补充：筛选分区表

执行上述方法二的shell
命令一：（简单）

cd dim.db
grep -i partition * | awk -F '.' '{print $1}'

命令二：（稍微复杂）

cd dim.dbgrep -i partition ./*
grep -i partition ./* | awk -F '.' '{print $2}' | awk -F '/' '{print $2}'

批量生成hive建表语句相关推荐

1.python 根据 oracle字段名和类型生成 hive建表语句
一.问题遇到一个场景,要根据oracle表结构创建hive表. 本来想写一个根据oracle信息和表名自动在hive中创建表的脚本.如果在集群运行,python操作oracle的cx_Oracle在 ...
mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...
使用java代码编写脚本，把oracle建表语句变成hive建表语句
使用java代码编写脚本,把oracle建表语句变成hive建表语句 java代码测试oracle.sql 生成hive创表语句 java代码 import java.io.File; import ...
hive建表语句_Hive数据如何同步到MaxCompute之实践讲解
摘要:本次分享主要介绍 Hive数据如何迁移到MaxCompute.MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的 ...
Oracle、Hive建表语句
1.Oracle建表 drop table T_PSSC_TRAN_PORTRAIT_CENTER; create table T_PSSC_TRAN_PORTRAIT_CENTER ( OBJ_ID ...
python读取excel生成mysql建表语句_python读取excel文件并自动在mysql中建表导数据
""" 根据excel在mysql中建表(表名为文件名,字段为csv中的header,默认所有字段为varchar,如需更改,在数据库中更改即可),并插入数据 " ...
小技巧:用python迅速打印Java写的Flink代码中的hive建表语句
假设我们想要用Flink对hive进行读写, 并且其中一段代码如下: // 如果hive中已经存在了相应的表,则这段代码省略String hiveSql = "CREATE external ...
Excel自动生成sql建表语句
ETL开发中重新整理很多表结构,写建表语句又是一件头疼的事情,干脆借鉴网友的代码,自己写了一个自动生成建表sql的模板. 模板下载:http://download.csdn.net/detail/en ...
mysql json建表_json数据自动生成MySQL建表语句
#_*_coding:utf-8_*_ #author: cike #date: 18-9-13 import pymysql.cursors connection = pymysql.connect ...
mysql分片建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...

批量生成hive建表语句

方式一：生成到一个文件

方式二：每个表单独一个文件

补充：筛选分区表

批量生成hive建表语句相关推荐

最新文章

热门文章