Flink SQL 之 Calcite Volcano优化器（源码解析）
Calcite作为大数据领域最常用的SQL解析引擎，支持Flink , hive, kylin , druid等大型项目的sql解析
同时想要深入研究Flink sql源码的话calcite也是必备技能之一，非常值得学习
我们内部也通过它在做自研的sql引擎，通过一套sql支持关联查询任意多个异构数据源（eg : mysql表join上 hbase表在做一个聚合计算）
因为calcite功能比较多，本文主要还是从calcite重要的主流程源码入手，主要侧重在VolcanoPlanner的优化器上
梳理一下Calcite SQL执行的几个阶段
总结下来就是
1. 通过Parser解析器将传入的sql解析成一颗词法树，SqlNode作为树的节点
2. 做词法的校验Validate，类型校验，元数据校验等等
3. 将校验好的SqlNode树转换成对应的关系代数表达式，也是一颗树，RelNode作为节点
4. 将RelNode关系代数表达式树，通过内置的两种优化器Volcano , Hep 优化关系代数表达式得到最优逻辑代数的一颗树，也是RelNode
5. 最优的逻辑代数表达式（RelNode）,会被转换成对应的可执行的物理执行计划（转换逻辑根据框架有所不同），像Flink就转成他的Operator去运行
来详细的看下每个阶段
1. Sql语句解析成语法树阶段（SQL - > SqlNode）
这一个阶段其实不是calcite实现的，而是calcite自己定义了一套sql语法分析规则模板，通过javaCC这个框架去实现的
拉代码来看下
源码中那个Parser.jj就是calcite核心的语法模板了，比如说我们要为flink sql添加什么语法比如count window就要修改这里
其中定义了是什么sql token 如何返回sqlNode的具体逻辑
看个例子
"select ID,NAME from MYHBASE.MYHBASE where ID = '1' "就会被解析成这样一颗sqlNode树
这里就不赘述了，javacc 可以参考官网（https://javacc.github.io/javacc/）
2 . 语法校验validator阶段
这里通过校验器去校验，这里不展开了，不是重点
3. 将sqlNode转成relNode的逻辑表达式树（sqlNode - > relNode）
这里calcite有默认的sql2rel转换器org.apache.calcite.sql2rel.SqlToRelConverter
这里也先不展开了
4. 逻辑关系代数树优化（relNode - > relNode）
这里是中重点中的重点！！！为什么有那么多框架选择Calcite就是因为它的sql优化
通过3阶段我们得到了一个relNode树，但这里这颗树并不是最优解，而calcite通过自身的两种优化器planner得到一个优化后的best树
这里才是整个calcite的核心，calcite提供的两种优化器
HepPlanner规则优化器（简单理解为定义许多规则Rule，只要能符合优化规则的树节点的就按规则转换，得到一颗规则优化后的树，这个比较简单）
VolcanPanner代价优化器（基于代价cost，树会根据rule一直迭代,不停计算更新root relnode节点的代价值，来找到最优的树）
先来看下
select ID,NAME from a where ID = '1'这样sql转换而来的一颗RelNode树长什么样子
可以看到很多节点都是以Logical命名的，因为这是3阶段通过calcite默认的转化器（SqlToRelConverter）转换而来的逻辑节点，逻辑节点是没有物理属性的也无法运行的
接下来进入calcite的代价cost优化器VolcanoPlanner进行优化
返回的就是代价最优的解
进去calcite的optimize方法
首先calcite会将我们上一阶段得到的relNode设置到我们代价Volcano优化器的root里去
在其中 org.apache.calcite.plan.volcano.VolcanoPlanner.registerImpl() 方法中
断点的地方在register的过程中会先将relnode的input先注册
在ensureRestered方法中
可以看到有绕回了registerImpl()方法
也就是树的子节点深度遍历先注册
接下来看一下注册过程
既然是深度遍历回到刚才看的VolcanoPlanner.registerImpl()方法中看下onRegister()方法之后做了什么
可以看到要触发规则了，这里就要穿插一个概念，calcite中的Rule
从类描述中我们可以知道，规则可以将一个表达式转换成另一个，什么意思呢，来看下有哪些抽象方法
什么意思呢？归纳起来就是两个核心方法
matches（）返回当前的relnode是否能匹配上此规则rule
onMatch () 当匹配上此规则时，这个方法会被调用，在其中可以调用transformTo()方法，这个方法的作用就是将一个relNode转换成另一个relNode
规则就是整个calcite的核心了，其实所有的sql优化都是由对应的rule组成的，将sql的优化逻辑实现为对应的rule让对应的relNode树节点做对应的转换来得到最优的best执行计划
ok回到我们的主流程上，继续上面的volcanoPlanner.fireRule()方法看看如何触发规则的
这里逻辑是比较简单的，就是当relnode满足rule就调用volcanoRuleCall的match()方法
但是有个地方需要注意，这里的classOperands这里包含了relNode以及所有可能匹配上这个relnode的规则的映射关系，并且可以向上也可以向下
具体是什么意思呢？
假设我有一个LogicFilter的RelNode，然后定义了两个规则
RuleA
operand(Logicalfilter.class, operand(TableScan.class))RuleB
operand(Logicalproject.class, operand(Logicalfilter.class))那这两个rule都会进入这个可能匹配上的映射关系classOperands里面去
当匹配上rule以后，接着来继续看代码
然后走到了volcanoPlanner.DeferringRuleCall的onMatch中
这里就是把这个rule的加入到了IterativeRuleDriver中的ruleQueue，这个队列就是专门用来存放已经匹配上的rule的，不难发现这些匹配上的rule只是存在队列里面，但还没有执行这些规则
那多久会执行呢？
回到主流程当我们setRoot里的所有relnode子节点都register以后
会走具体planner的findBestExp()方法，从名字可以看出来找到最优的表达式
这里要提前说一下，claicte的优化原理是，它假定如果一个表达式最优，那它的局部也是最优的，那当前relNode的best我们也就只用关心，从
1.子节点的所有best加起来
2. 自己能匹配上的所有规则，以及剩下部位的best加起来
从中比较得到的就是当前relnode的最优解了
引用个图
如果A只能匹配这两种规则，那我们枚举求最优解的时候就只用考虑这几张情况
关于原理不太了解的可以看看这篇 https://io-meter.com/2018/11/01/sql-query-optimization-volcano/
接着看findBestexp()
这里就是整个优化寻找最优解bestExp的主loop了
不停的从queue中拿rule, 运行rule,直到所有rule都执行完才退出
没错这里的这个queue就是前面说到的，当默认的relnode注册进来的时候会把能匹配上的rule放这queue里面去
这里自然就有个疑问， 前面说到rule运行的时候会改变relNode节点，也就是添加relndoe的等价节点，
那这里树的结构变化会导致，之前不能匹配上的rule改变树的结构后就能匹配上，那这里能匹配上的rule不就漏了，那就接着看rule的onMatch()中用于转换等价节点的方法transformTo（）
其中转换的新节点，在transformTo方法中又会执行register
也就是说新来的节点也会走一遍，默认relNode注册的流程，当新节点注册成等价节点会有新的规则匹配上的时候，又会将此rule加入rulequeu中等待下一次执行rule了
另外当这个relnode节点会被规则rule转换时,生成的新relnode会被设置加入到这个relnode的等价节点中去
加入等价节点，并且在propagateCostImprovement方法中
计算当前等价节点会不会使，当前relnode的cost代价下降，如果下降了，那就更新当前relnode的bestcost并且向上冒泡修改父relnode的最优bestCost
while true 一直触发拉取ruleQueue中的rule,直到rule为空
然后rule会添加新的等价节点
新的等价节点如果更优cost,更新整棵树的best Relnode
新的等价节点relnode会匹配上新的规则，新的rule加入到rulequeue中
进入下一次循环，直到没有rule可以匹配上，这样bestexp就可以返回优化后的最优的relnode了
之后就是根据这个最优的relnode,不同的框架翻译成自己的api
calciet终于说完，，之后就可以开始解析flink sql的源码了
本地地址：https://www.cnblogs.com/ljygz/p/15421973.html
end
Flink 从入门到精通 系列文章基于 Apache Flink 的实时监控告警系统
关于数据中台的深度思考与总结（干干货）
日志收集Agent，阴暗潮湿的地底世界
公众号(zhisheng)里回复 面经、ClickHouse、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章。点个赞+在看，少个 bug
Flink SQL 之 Calcite Volcano优化器（源码解析）相关推荐
- THOR：MindSpore 自研高阶优化器源码分析和实践应用
摘要:这篇文章跟大家分享下THOR的实践应用.THOR算法的部分内容当前已经在MindSpore中开源 本文分享自华为云社区<MindSpore 自研高阶优化器源码分析和实践应用>,原文作 ...
- Java生鲜电商平台-SpringCloud微服务架构中网络请求性能优化与源码解析
Java生鲜电商平台-SpringCloud微服务架构中网络请求性能优化与源码解析 说明:Java生鲜电商平台中,由于服务进行了拆分,很多的业务服务导致了请求的网络延迟与性能消耗,对应的这些问题,我们 ...
- 美女图片采集器 源码+解析
前言: 有一段时间没写博客了, "持之以恒"徽章都暗了, 实在不该. 前一段确实比较忙, ...小小地给自己的懒找个借口吧. 大二即将结束, 学习iOS也有一段时间了.今天抽点时间 ...
- 美女图片采集器 (源码+解析)
前言: 有一段时间没写博客了, "持之以恒"徽章都暗了, 实在不该. 前一段确实比较忙, ...小小地给自己的懒找个借口吧. 大二即将结束, 学习iOS也有一段时间了.今天抽点时间 ...
- SpringMVC拦截器源码解析
版权声明:本文为CSDN博主「风剑无影」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.csdn.net/dreamcatche ...
- SkeyePlayer RTSP/RTMP流媒体超低延迟播放器源码解析系列之H264一帧多NAL写MP4录像花屏问题解决方案
接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇,我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层),关于H264和N ...
- pytorch中AdaGrad优化器源码解读
1. AdaGrad算法 花书中截图,随便找了一张. 2.源码 def step(self, closure=None):"""Performs a single opt ...
- Android多媒体播放器源码解析(stagefright框架)
一.android多媒体播放的调用步骤: a) android中定义一个MediaPlayer类 b) 在MediaPlayer中使用JNI技术调用的是android_media_MediaPlaye ...
- SpringBoot入门-源码解析(雷神)
一.Spring Boot入门 视频学习资料(雷神): https://www.bilibili.com/video/BV19K4y1L7MT?p=1 github: https://github.c ...
- OkHttp 源码解析（4.9.1 版本）
文章目录 1.OkHttp 简介 2.OkHttp 配置与基本用法 2.1 依赖引入与配置 2.2 基本用法 3.OkHttp 常见对象介绍 4.OkHttp 源码解析 4.1 当我们调用`okhtt ...
最新文章
- Attention的相关工作
- T-SQL 之 表变量和临时表
- Hlg 1407 【最小点权覆盖】.cpp
- 关于论文检索的几点知识
- 二叉排序树 -- 增删查改
- 【SPSS】SPSS第五周作业
- 在save中重写 AdminModel 方法 和 Signals
- linux脚本中如何调用函数,在Linux中如何在Perl脚本中调用函数(在shell脚本中定义)...
- python爬取正确但不出文件_使用Python爬取微信公众号文章并保存为PDF文件(解决图片不显示的问题)...
- dts双轨制会员积分系统，直销系统，分销系统
- 【MFC】字体类——CFont
- OA考勤打卡系统功能点
- 史上最全正则表达式语法，文末附常用表达式！
- python基础：sys模块
- windows上qt5.9下载安装教程
- UE4无法创建C++类
- 如何清除计算机搜索框内的搜索历史记录,如何清除搜索框中的网站访问历史记录...
- 关于OLED花屏的解决方案之一
- java项目:基于springboot+vue的实验室预约管理系统 nodejs
- 人月神话是神话嘛？嗯！
热门文章