小技巧:用python迅速打印Java写的Flink代码中的hive建表语句

假设我们想要用Flink对hive进行读写,

并且其中一段代码如下:

//      如果hive中已经存在了相应的表，则这段代码省略String hiveSql = "CREATE external TABLE fs_table (\n" +"  user_id STRING,\n" +"  order_amount DOUBLE" +") partitioned by (dt string,h string,m string) " +"stored as ORC " +"TBLPROPERTIES (\n" +"  'partition.time-extractor.timestamp-pattern'='$dt $h:$m:00',\n" +"  'sink.partition-commit.delay'='0s',\n" +"  'sink.partition-commit.trigger'='partition-time',\n" +"  'sink.partition-commit.policy.kind'='metastore'" +")";tEnv.executeSql(hiveSql);

显然这个代码和原有的flink 代码耦合性太强,

我们希望抽离出来,在hive的客户端来运行.

为了调试打印上面的这个语句显然用java太麻烦了.

用python代码printsql.py如下(上面的整个代码直接复制下来,然后+改成\即可):

a="CREATE external TABLE fs_table (\n" \"  user_id STRING,\n" \"  order_amount DOUBLE" \") partitioned by (dt string,h string,m string) " \"stored as ORC " \"TBLPROPERTIES (\n" \"  'partition.time-extractor.timestamp-pattern'='$dt $h:$m:00',\n" \"  'sink.partition-commit.delay'='0s',\n" \"  'sink.partition-commit.trigger'='partition-time',\n" \"  'sink.partition-commit.policy.kind'='metastore'" \")"
print(a)

python printsql.py后得到sql语句,把该sql语句在hive中运行如下:

0: jdbc:hive2://Desktop:10000> CREATE external TABLE fs_table (
. . . . . . . . . . . . . . .> user_id STRING,
. . . . . . . . . . . . . . .> order_amount DOUBLE) partitioned by (dt string,h string,m string) stored as ORC TBLPROPERTIES (
. . . . . . . . . . . . . . .> 'partition.time-extractor.timestamp-pattern'='$dt $h:$m:00',
. . . . . . . . . . . . . . .> 'sink.partition-commit.delay'='0s',
. . . . . . . . . . . . . . .> 'sink.partition-commit.trigger'='partition-time',
. . . . . . . . . . . . . . .> 'sink.partition-commit.policy.kind'='metastore')
. . . . . . . . . . . . . . .>
. . . . . . . . . . . . . . .> ;
No rows affected (4.864 seconds)

建表顺利完成

小技巧:用python迅速打印Java写的Flink代码中的hive建表语句相关推荐

使用java代码编写脚本，把oracle建表语句变成hive建表语句
使用java代码编写脚本,把oracle建表语句变成hive建表语句 java代码测试oracle.sql 生成hive创表语句 java代码 import java.io.File; import ...
1.python 根据 oracle字段名和类型生成 hive建表语句
一.问题遇到一个场景,要根据oracle表结构创建hive表. 本来想写一个根据oracle信息和表名自动在hive中创建表的脚本.如果在集群运行,python操作oracle的cx_Oracle在 ...
小技巧：为 Eclipse 设置链式调用的代码格式化（Formatter）
本篇主要分享一个小技巧:为 Eclipse 设置链式调用的代码格式化(Formatter). 首先,我们要明白什么是链式调用,来看代码: AccountParam.builder().uid(uid) ...
使用java通过固定的excel模板自动生成数据库表的ddl建表语句
有时候要建很多表或一个表有很多字段,一个个复制字段弄太麻烦了,为了提高点工作效率,写了个小工具通过固定的excel模板自动生成基础的ddl建表语句 maven依赖  ...
java程序阅读题6,阅读以下说明和java程序，填补代码中的空缺（1）～（6），将解答填入答题纸的对 - 信管网...
阅读以下说明和Java程序,填补代码中的空缺(1)-(6),将解答填入答题纸的对应栏内. [说明] 很多依托扑克牌进行的游戏都要先洗牌.下面的Java代码运行时先生成一副扑克牌,洗牌后再按顺序打印每张 ...
oracle和mysql通用建表语句_mysql建表语句到oracle怎么写？
mysql建表语句到oracle怎么写? CREATE TABLE `Advertisment` ( `AdId` int(8) NOT NULL auto_increment, `AderId` ...
java实体转为数据库建表语句
java实体转为数据库建表语句 package com.mashibing.admin;import cn.hutool.core.text.StrBuilder; import cn.hutool. ...
独家 | 11个Python Pandas小技巧让你的工作更高效（附代码实例）
作者:Shiu-TangLi 翻译:吴振东校对:王雨桐本文约1800字,建议阅读6分钟. 本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助. 或许本文中的某些命令你早已知晓,只是 ...
python输入10个数据_分享10个数据分析的小技巧（Python）
一些小提示和小技巧可能是非常有用的,特别是在编程领域.有时候使用一点点黑客技术,既可以节省时间,还可能挽救"生命". 一个小小的快捷方式或附加组件有时真是天赐之物,并且可以成为真正 ...

小技巧:用python迅速打印Java写的Flink代码中的hive建表语句

小技巧:用python迅速打印Java写的Flink代码中的hive建表语句相关推荐

最新文章

热门文章

小技巧:用python迅速打印Java写 的Flink代码中的hive建表语句

小技巧:用python迅速打印Java写 的Flink代码中的hive建表语句相关推荐

最新文章

热门文章

小技巧:用python迅速打印Java写的Flink代码中的hive建表语句

小技巧:用python迅速打印Java写的Flink代码中的hive建表语句相关推荐