1.世界

2.概述

Apache Calcite是什么东东？

Apache Calcite面向Hadoop新的sql引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力。除此之外，Calcite还提供了OLAP和流处理的查询引擎。它2013年成为了Apache孵化项目以来，在Hadoop中越来越引人注目，并被众多项目集成。比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化。

3.Flink 结合 Calcite

Flink Table API&SQL 为流式数据和静态数据的关系查询保留统一的接口，而且利用了Calcite的查询优化框架和SQL parser。该设计是基于Flink已构建好的API构建的，DataStream API 提供低延时高吞吐的流处理能力而且就有exactly-once语义而且可以基于event-time进行处理。而且DataSet拥有稳定高效的内存算子和流水线式的数据交换。Flink的core API和引擎的所有改进都会自动应用到Table API和SQL上。

一条stream sql从提交到calcite解析、优化最后到flink引擎执行，一般分为以下几个阶段:

Sql Parser: 将sql语句通过java cc解析成AST(语

95-910-330-源码-FlinkSQL-Calcite-Flink结合Calcite相关推荐

【Flink源码篇】Flink 1.15.0源码编译
目录 1. 下载源码并解压 2. Flink项目配置 3. 源码编译 4. 编译问题记录 5. IDEA调试Flink程序 1. 下载源码并解压从github下载Flink的源码:https://g ...
【Flink源码分析】Flink 命令启动全流程
一.启动脚本分析 1. WordCount启动命令 bin/flink run examples/streaming/SocketWindowWordCount.jar --hostname loca ...
Iceberg源码学习：flink读iceberg流程一
实例 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamExec ...
追源索骥：透过源码看懂Flink核心框架的执行流程
https://www.cnblogs.com/bethunebtj/p/9168274.html 追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 Hello,World WordC ...
Flink源码分析 - 源码构建
本篇文章首发于头条号Flink源码分析 - 源码构建,欢迎关注我的头条号和微信公众号"大数据技术和人工智能"(微信搜索bigdata_ai_tech)获取更多干货,也欢迎关注我的C ...
追源索骥：透过源码看懂Flink核心框架的执行流程--来自GitHub
追源索骥:透过源码看懂Flink核心框架的执行流程联系qq2499496272可进行删除,需要文件版本的私聊!!~ 文章目录追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 ~~H ...
【Calcite源码学习】ImmutableBitSet介绍
Calcite中实现了一个ImmutableBitSet类,用于保存bit集合.在很多优化规则和物化视图相关的类中都使用了ImmutableBitSet来保存group by字段或者聚合函数参数字段对 ...
Flink Cep 源码分析
复合事件处理(Complex Event Processing,CEP)是一种基于动态环境中事件流的分析技术,事件在这里通常是有意义的状态变化,通过分析事件间的关系,利用过滤.关联.聚合等技术,根据事 ...
【珍藏】 2012.NET开发必看资料53个+经典源码77个—下载目录
2019独角兽企业重金招聘Python工程师标准>>> .NET 是 Microsoft XML Web services 平台.XML Web services 允许应用程序通过I ...
PHP扩展编写、PHP扩展调试、VLD源码分析、基于嵌入式Embed SAPI实现opcode查看
catalogue 1. 编译PHP源码 2. 扩展结构.优缺点 3. 使用PHP原生扩展框架wizard ext_skel编写扩展 4. 编译安装VLD 5. Debug调试VLD 6. VLD源码 ...

95-910-330-源码-FlinkSQL-Calcite-Flink结合Calcite

1.世界

2.概述

3.Flink 结合 Calcite

95-910-330-源码-FlinkSQL-Calcite-Flink结合Calcite相关推荐

最新文章

热门文章