Hudi-Flink SQL实时读取Hudi表数据

代码如下(hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi])

package com.zhen.hudi;import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;/*** @Author FengZhen* @Date 3/10/22 8:33 PM* @Description 基于Flink SQL Connector实现：从hudi表中加载数据，编写SQL查询*/
public class FlinkSQLReadDemo {public static void main(String[] args) {//1.获取表的执行环境EnvironmentSettings settings = EnvironmentSettings.newInstance().inStreamingMode().build();TableEnvironment tableEnv = TableEnvironment.create(settings);//2.创建输入表，TODO:加载hudi表数据tableEnv.executeSql("CREATE TABLE order_hudi(\n" +"    `orderId` STRING PRIMARY KEY NOT ENFORCED,\n" +"    `userId` STRING,\n" +"    `orderTime` STRING,\n" +"    `ip` STRING,\n" +"    `orderMoney` DOUBLE,\n" +"    `orderStatus` INT,\n" +"    `ts` STRING,\n" +"    `partition_day` STRING\n" +")\n" +"PARTITIONED BY (partition_day)\n" +"WITH(\n" +"    'connector' = 'hudi',\n" +"    'path'='hdfs://localhost:9000/hudi-warehouse/flink_hudi_order',\n" +"    'table.type' = 'MERGE_ON_READ',\n" +"    'read.streaming.enabled' = 'true',\n" +"    'read.streaming.check-interval' = '4'\n" +")");//3.执行查询语句,流式读取hudi表数据tableEnv.executeSql("SELECT orderId, userId, orderTime, ip, orderMoney, orderStatus, ts, partition_day FROM order_hudi").print();}}

Hudi-Flink SQL实时读取Hudi表数据相关推荐

使用 OPEN SQL 语句读取数据库表数据的一个补充练习
首先按照本系列前一篇文章如何创建最简单的 ABAP 数据库表,以及编码从数据库表中读取数据介绍的步骤,创建两个数据库表: 上图 ZPERSON 表里,包含了5条记录,分别代表5个人的 ID 和名称. ...
sql server 触发器实时同步数据库表数据
sql server 触发器实时同步数据库表数据创建两个相同结构的数据库表 CREATE TABLE [dbo].[Table_1]([id] [varchar](50) NOT NULL,[nam ...
MySQL删除s表命令_SQLServer数据库sql语句中----删除表数据drop、truncate和delete的用法...
本文主要向大家介绍了SQLServer数据库sql语句中----删除表数据drop.truncate和delete的用法,通过具体的内容向大家展现,希望对大家学习SQLServer数据库有所帮助. 虽 ...
python读取mysql中表内数据_Python读取MySQL表数据的方法介绍
这篇文章主要为大家详细介绍了Python如何读取MySQL数据库表数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下本文实例为大家分享了Python读取MySQL数据库表数据的具体代码,供大家参 ...
spark用scala读取hive表数据（不同版本区别）
spark用scala读取hive表数据 spark1.6写法: val conf = new SparkConf() val sc = new SparkContext(conf) ...
实战 | flink sql 实时 TopN
实战 | flink sql 实时 TopN 1.背景篇 2.难点剖析篇-此类指标建设.保障的难点 2.1.数据建设 2.2.数据保障 2.3.数据服务保障 3.数据建设篇-具体实现方案详述 3.1. ...
Flink实战（八十）：flink-sql使用（七）Flink SQL Clien读取Kafka数据流式写入Hive（用hive 管理kafka元数据）
声明:本系列博客是根据SGG的视频整理而成,非常适合大家入门学习. <2021年最新版大数据面试题全面开启更新> 版本说明: Flink 1.11.2 Kafka 2.4.0 Hive 3 ...
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
oracle数据库开多线程,学习笔记:Oracle表数据导入 DBA常用单线程插入多线程插入 sql loader三种表数据导入案例...
天萃荷净 oracle之数据导入,汇总开发DBA在向表中导入大量数据的案例,如:单线程向数据库中插入数据,多线程向数据表中插入数据,使用sql loader数据表中导入数据案例 1.Oracle数据库 ...
python怎么从excel获取数据_python如何读取excel表数据
python读取excel表数据的方法:首先安装Excel读取数据的库xlrd:然后获取Excel文件的位置并且读取进来:接着读取指定的行和列的内容,并将内容存储在列表中:最后运行程序即可. pyth ...

Hudi-Flink SQL实时读取Hudi表数据

Hudi-Flink SQL实时读取Hudi表数据相关推荐

最新文章

热门文章