概述

本文用来详解[1]

SQL结构

[1]中的整个md文件中的sql其实是想表达上图的这个逻辑

这里的SQL写的时候需要注意一个细节:

	connector设置
维度表	'connector' = 'upsert-kafka'
事实表	'connector' = 'kafka'

所谓的N way Join就是在SQL里面一个fact table和多个维度表进行join,如下:

SELECT t.actual_departure_date, p.first_name,p.last_name,b.channel, os.city AS origin_station,ds.city AS destination_station
FROM train_activities t
LEFT JOIN booking_channels FOR SYSTEM_TIME AS OF t.actual_departure_date AS b
ON t.booking_channel_key = b.booking_channel_key
LEFT JOIN passengers FOR SYSTEM_TIME AS OF t.actual_departure_date AS p
ON t.passenger_key = p.passenger_key
LEFT JOIN stations FOR SYSTEM_TIME AS OF t.actual_departure_date AS os
ON t.origin_station_key = os.station_key
LEFT JOIN stations FOR SYSTEM_TIME AS OF t.actual_departure_date AS ds
ON t.destination_station_key = ds.station_key;

这个实验对硬件资源有些要求，

如果资源不够的话，提交一段时间后，web UI会显示任务会超时

Reference:

[1]https://github.com/ververica/flink-sql-cookbook/blob/master/joins/05/05_star_schema.md

Flink SQL的N way join相关推荐

Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
2019独角兽企业重金招聘Python工程师标准>>> 引子流计算中一个常见的需求就是为数据流补齐字段.因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度 ...
Flink SQL CDC 上线！我们总结了 13 条生产实践经验
#2020云栖大会#阿里云海量offer来啦!投简历.赢阿里云限量礼品及阿里云ACA认证免费考试资格!>>> 摘要: 7月,Flink 1.11 新版发布,在生态及易用性上有大幅提升 ...
Flink SQL CDC 13 条生产实践经验
摘要:7月,Flink 1.11 新版发布,在生态及易用性上有大幅提升,其中 Table & SQL 开始支持 Change Data Capture(CDC).CDC 被广泛使用在复制数据. ...
Flink sql:Table sink doesn‘t support consuming update and delete changes which is produced by node
一.问题描述 Flink sql将kafka作为join的输出,报错: Exception in thread "main" org.apache.flink.table.api. ...
Flink SQL Client进行Kafka事实表与Hbase维度表Join(纯DDL/SQL方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
flink sql 知其所以然（十三）：流 join 很难嘛？（下）
看了那么多的技术文,你能明白作者想让你在读完文章后学到什么吗? 大数据羊说__的文章会让你明白大数据羊说用数据提升美好事物发生的概率~ 43篇原创内容公众号博主会阐明博主期望本文能给小伙伴们带 ...
flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码
看了那么多的技术文,你能明白作者想让你在读完文章后学到什么吗? 大数据羊说__的文章会让你明白大数据羊说用数据提升美好事物发生的概率~ 43篇原创内容公众号博主会阐明博主期望本文能给小伙伴们带 ...
flink sql 知其所以然（十五）：改了改源码，实现了个 batch lookup join（附源码）
看了那么多的技术文,你能明白作者想让你在读完文章后学到什么吗? 大数据羊说__的文章会让你明白大数据羊说用数据提升美好事物发生的概率~ 44篇原创内容公众号博主会阐明博主期望本文能给小伙伴们带 ...
Flink SQL 如何实现数据流的 Join？
无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句.对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚 ...

Flink SQL的N way join

概述

SQL结构

Flink SQL的N way join相关推荐

最新文章

热门文章