FlinkSQL建表语句与插入语句

FlinkSQL来构建实时数仓，其思路大概如下：Flink的Table API提供了对kafka/jdbc/hbase等实时开发涉及到的组件的支持，以kafka为例，将kafka topic抽象成Flink Table，如下：

FlinkSQL读数据建表语句

CREATE TABLE flink_rtdw.demo.kafka_source_table (topic STRING,bidWord STRING,planID STRING,eventTime INTEGER,procTime AS PROCTIME(),ets AS TO_TIMESTAMP(FROM_UNIXTIME(eventTime)),WATERMARK FOR ets AS ets - INTERVAL '1' MINUTE
) WITH ('connector' = 'kafka','topic' = 'ba.join.shbt2.search-ocpc-click','properties.bootstrap.servers' = ‘Kafka-broker','properties.group.id' = 'testGroup','scan.startup.mode' = 'latest-offset','format' = 'json'
);

FlinkSQL写数据建表语句

CREATE TABLE flink_rtdw.demo.kafka_sink_table (window_time BIGINT,topic STRING,bid_word_count BIGINT
) WITH ('connector' = 'kafka','topic' = 'ultron.demo.shbt2.into.shbt2.tumlewindow.dev','properties.bootstrap.servers' = ‘kafka-broker','format' = 'json'
);

读取kafka_source_table中数据根据指标统计写如kafka_source_table
统计一秒滚动窗口出现次数

INSERT INTOflink_rtdw.demo.kafka_sink_table
SELECTUNIX_TIMESTAMP(DATE_FORMAT(TUMBLE_START(procTime, INTERVAL '1' MINUTE),'yyyy-MM-dd HH:mm:ss')) * 1000 as window_time,topic,COUNT(bidWord)
FROMflink_rtdw.demo.kafka_source_table
GROUP BYTUMBLE(procTime, INTERVAL '1' MINUTE),topic;

FlinkSQL建表语句与插入语句相关推荐

SQL语句：建表语句、插入语句、查询语句、增加列、删除列、查询语句like、修改语句
1.建表 create table student ( id number(10,0) not null, uname varchar2(255 char), pword varchar2 ...
数据库mysql自建模拟购物系统(建表语句、检索语句)
题目:购物系统数据库设计一.场景描述随着互联网的普及,越来越多的人选择网上购物.购物系统已经成为了必然趋势,购物系统的主要资源是商品.商品由用户从网上查看价格.品质.评论等选择商品,用户下单付款后 ...
mysql 建表语句示例_MySQL Create Table语句和示例
mysql 建表语句示例 In this article, I am going to explain the MySQL CREATE TABLE statement with examples. ...
mysql分片建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...
使用java代码编写脚本，把oracle建表语句变成hive建表语句
使用java代码编写脚本,把oracle建表语句变成hive建表语句 java代码测试oracle.sql 生成hive创表语句 java代码 import java.io.File; import ...
mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...
PowerDesigner，如何将Oracle数据库建表语句转化成Mysql数据库建表语句。
在实际工作中,一张表,我们可能需要在Mysql数据库中建表,又要在Oracle数据库中建表.表中每个字段的数据类型.中文注释.是否可为NULL 问题,非常影响我们建表的效率.本篇文章,以Oracle数 ...
oracle建表唯一约束语句,Oracle建表语句是什么
Oracle建表语句是什么 oracle数据库的建表语句,具体语法如下:CREATE TABLE tablename( column_name datatype [null,not null], co ...
PowerDesigner，如何将Mysql数据库建表语句转化成Oracle数据库建表语句。
在实际工作中,一张表,我们可能需要在Mysql数据库中建表,又要在Oracle数据库中建表.表中每个字段的数据类型.中文注释.是否可为NULL 问题,非常影响我们建表的效率.本篇文章,以Mysql数据 ...
mysql建表语句主键自增_MYSQL索引-上
前言今天同事做数据清理的时候发现我这边有一张表没有主键,这个表有两个字段,ID和Name,ID作者唯一索引,在我印象里,一个数据表如果没有主键索引,它会内部创建主键索引,创建的标准就是唯一性,我觉得 ...

FlinkSQL建表语句与插入语句

FlinkSQL建表语句与插入语句相关推荐

最新文章

热门文章