Flink Weekly | 每周社区动态更新 - 20200107
本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。
作者:唐云(茶干)
大家好,2020 年转眼就来了,先恭喜大家新年快乐,Flink 社区也会在新的一年中继续陪伴大家,一起将 Flink 做大做好。
本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。
Flink 开发进展
[Release] Yu 分享了目前 Flink-1.10 发布的喜人进展,release-1.10 分支刚被拉出来时有 46 个 blocker,11 个 critical 级别的 issue,目前已经下降到只有 12 个 blocker 级别的 issue,一个 RC 版本有望于近期发布,可以访问下面的链接一睹为快:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Progress-of-Apache-Flink-1-10-3-td36359.html
**[Build] **在社区邮件达成一致后,目前 Flink 已经移除了厂商提供的仓库支持:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Drop-vendor-specific-repositories-from-pom-xml-td36113.html
https://issues.apache.org/jira/browse/FLINK-15459
[SQL] Forward Xu 发起了 FLIP-90(在 Flink SQL 中支持 SQL 2016-2017 JSON 函数)的投票,考虑到讨论时没有收到负面意见,该投票有望较快通过。
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-90-Support-SQL-2016-2017-JSON-functions-in-Flink-SQL-td36341.html
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html
[SQL] Jark 发起了在 Table API&SQL 中将"Time-windowed Join"重命名为"Interval Join" 的投票:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Rename-terminology-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-API-amp-SQL-td36370.html
[SQL] Jark 发起了将 Blink planner 在 release 1.10 中设置为 SQL Client 默认 planner 的讨论。目前 Table API 仍然使用 Flink planner,但是也规划在 release 1.11 中将 Blink planner 设置为默认 planner。理论上来说 Blink planner 是 Flink planner 的超集,当然不排除一些边角功能没有覆盖到,如果你有任何相关发现,欢迎在下面的邮件中回复:
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Set-default-planner-for-SQL-Client-to-Blink-planner-in-1-10-release-td36379.html
[SQL] Godfreyhe 发起了支持 SQL client gateway(FLIP-91)的讨论。FLIP-91 的目标是在 FLIP-24 的基础上使得 SQL Client 支持 REST/JDBC 接口,提高 Flink SQL 的易用性。
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-91-Support-SQL-Client-Gateway-td36349.html
需要注意的一些缺陷
- [FLINK-15477] [1.9.1] 有用户反馈无法创建 BatchTableEnvironment。
https://issues.apache.org/jira/browse/FLINK-15477
- [FLINK-15467] [1.9.1] task cancel 阶段没有等待 source 线程发送完全数据。
https://issues.apache.org/jira/browse/FLINK-15467
- [FLINK-15466] [1.8.3][1.9.1] FlinkAggregateExpandDistinctAggregatesRule 会在执行带有过滤的 distinct aggs 时创建错误的 SQL plan。
https://issues.apache.org/jira/browse/FLINK-15466
- [FLINK-15463] [1.9.1] 使用 table SQL API 连接 phoenix 时,会遇到 ClassNotFoundException 异常。
https://issues.apache.org/jira/browse/FLINK-15463
中文邮件问题答疑汇总
- IDEA 默认选择 java 11 profile,导致 IDEA 在 JDK8 下无法编译 Flink。已经获得了相关解决方法:
http://apache-flink.147419.n8.nabble.com/Error-java-add-exports-java-base-sun-net-util-ALL-UNNAMED-td943.html
- Flink 内存配置相关的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-td1358.html
- 如何获取一条数据记录的处理时间:
http://apache-flink.147419.n8.nabble.com/-td1380.html
- StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema:
http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-td1347.html
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Tips:
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
作者介绍:
唐云(茶干),南京大学硕士,2017 年加入阿里巴巴实时计算事业部,专注 Flink 核心引擎开发,入职以来长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。
Flink Weekly | 每周社区动态更新 - 20200107相关推荐
- 【Flink】学习笔记-20200302更新
flink-notes flink的一些学习笔记,将在github上持续更新 https://github.com/pierre94/flink-notes 一.技术博客索引 Flink中文官方文档 ...
- 【flink】Flink-Cep实现规则动态更新
1.概述 我们是用processfunction实现的cep动态更新,然后看到这个是原生api感觉有趣,研究一下 原文:https://mp.weixin.qq.com/s/mh–wQvAWQq2tD ...
- Spark/Flink广播实现作业配置动态更新
点击上方"zhisheng",选择"设为星标" 后台回复"ffa"可以查看 Flink 资料 前言 在实时计算作业中,往往需要动态改变一些配 ...
- Flink-Cep实现规则动态更新
Flink-Cep实现规则动态更新 规则引擎通常对我们的理解就是用来做模式匹配的,在数据流里面检测满足规则要求的数据.有人会问为什么需要规则动态变更呢?直接修改了规则把服务重启一下不就可以了吗,这个当 ...
- 通过阿里云K8S Ingress Controller实现路由配置的动态更新
简介 在Kubernetes集群中,Ingress作为集群内服务对外暴露的访问接入点,其几乎承载着集群内服务访问的所有流量.我们知道,Nginx Ingress Controller是Kubernet ...
- 【Spark】SparkStreaming-流处理-规则动态更新-解决方案
SparkStreaming-流处理-规则动态更新-解决方案 image2017-10-27_11-10-53.png (1067×738)elasticsearch-headElasticsearc ...
- CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……【2022.1.19】
hello,大家好,这里是「CSDN产品周报」第25期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...
- 一次Delta lake 0.8.0 踩坑有感:使用新框架的新版本,一定要尽早关注多多关注社区动态...
点击上方蓝色"明哥的IT随笔",关注并选择"设为星标",keep striving! 一.数据胡三剑客介绍 关注大数据发展动态的朋友,都知道最近几年数据湖存储引 ...
- CSDN产品周报第24期|CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……
hello,大家好,这里是「CSDN产品周报」第24期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...
- RocketMQ—Producer(二)路由动态更新
一.Producer路由信息 从NameServer章节分析得知,路由信息存储在NameServer,生产端和消费端定时向NameServer获取topic相关的路由信息: 从生产者启动流程得知: 路 ...
最新文章
- linux内核 机器码,u-boot与Linux内核机器码问题
- 关于python和anaconda的一些基础认识
- 网络营销中SEO是最常用的“圈粉”引流方式之一
- 地图投影系列介绍(一)----地球空间模型
- linux-macbook内核,技术|用 Linux 让旧 MacBook 重获新生
- 1057 数零壹 (20 分)
- 一步步编写操作系统 23 重写主引导记录mbr
- point-position2修改版
- Huawei is developing a new future technology
- 北京理工大学计算机学院杨晨,杨旭_北京理工大学计算机学院
- cmd命令行带参启动程序
- 【rac asm扩容】在vmware workstation中配置集群(rac)的共享存储(磁盘)方法(流程)
- html 的header标签和head标签
- background系列属性
- js:nodejs搭建http服务器为页面添加mysql中的数据分页
- Scala 模式匹配 match-case
- Python实现自省的方法有哪些?
- 【算法打开(最短路径)--7.25】
- 数学建模-分类模型(基于logistic回归)
- android ocr 中文版,android ocr