本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。

作者:唐云(茶干)

大家好,2020 年转眼就来了,先恭喜大家新年快乐,Flink 社区也会在新的一年中继续陪伴大家,一起将 Flink 做大做好。

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。

Flink 开发进展

[Release] Yu 分享了目前 Flink-1.10 发布的喜人进展,release-1.10 分支刚被拉出来时有 46 个 blocker,11 个 critical 级别的 issue,目前已经下降到只有 12 个 blocker 级别的 issue,一个 RC 版本有望于近期发布,可以访问下面的链接一睹为快:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Progress-of-Apache-Flink-1-10-3-td36359.html

**[Build] **在社区邮件达成一致后,目前 Flink 已经移除了厂商提供的仓库支持:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Drop-vendor-specific-repositories-from-pom-xml-td36113.html

https://issues.apache.org/jira/browse/FLINK-15459

[SQL] Forward Xu 发起了 FLIP-90(在 Flink SQL 中支持 SQL 2016-2017 JSON 函数)的投票,考虑到讨论时没有收到负面意见,该投票有望较快通过。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-90-Support-SQL-2016-2017-JSON-functions-in-Flink-SQL-td36341.html

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

[SQL] Jark 发起了在 Table API&SQL 中将"Time-windowed Join"重命名为"Interval Join" 的投票:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Rename-terminology-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-API-amp-SQL-td36370.html

[SQL] Jark 发起了将 Blink planner 在 release 1.10 中设置为 SQL Client 默认 planner 的讨论。目前 Table API 仍然使用 Flink planner,但是也规划在 release 1.11 中将 Blink planner 设置为默认 planner。理论上来说 Blink planner 是 Flink planner 的超集,当然不排除一些边角功能没有覆盖到,如果你有任何相关发现,欢迎在下面的邮件中回复:

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Set-default-planner-for-SQL-Client-to-Blink-planner-in-1-10-release-td36379.html

[SQL] Godfreyhe 发起了支持 SQL client gateway(FLIP-91)的讨论。FLIP-91 的目标是在 FLIP-24 的基础上使得 SQL Client 支持 REST/JDBC 接口,提高 Flink SQL 的易用性。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-91-Support-SQL-Client-Gateway-td36349.html

需要注意的一些缺陷

  • [FLINK-15477] [1.9.1] 有用户反馈无法创建 BatchTableEnvironment。

https://issues.apache.org/jira/browse/FLINK-15477

  • [FLINK-15467] [1.9.1] task cancel 阶段没有等待 source 线程发送完全数据。

https://issues.apache.org/jira/browse/FLINK-15467

  • [FLINK-15466] [1.8.3][1.9.1] FlinkAggregateExpandDistinctAggregatesRule 会在执行带有过滤的 distinct aggs 时创建错误的 SQL plan。

https://issues.apache.org/jira/browse/FLINK-15466

  • [FLINK-15463] [1.9.1] 使用 table SQL API 连接 phoenix 时,会遇到 ClassNotFoundException 异常。

https://issues.apache.org/jira/browse/FLINK-15463

中文邮件问题答疑汇总

  • IDEA 默认选择 java 11 profile,导致 IDEA 在 JDK8 下无法编译 Flink。已经获得了相关解决方法:

http://apache-flink.147419.n8.nabble.com/Error-java-add-exports-java-base-sun-net-util-ALL-UNNAMED-td943.html

  • Flink 内存配置相关的问题解答:

http://apache-flink.147419.n8.nabble.com/flink-td1358.html

  • 如何获取一条数据记录的处理时间:

http://apache-flink.147419.n8.nabble.com/-td1380.html

  • StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema:

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-td1347.html

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程:

  1. 发送任意邮件到 user-zh-subscribe@flink.apache.org
  2. 收到官方确认邮件
  3. 回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!

Tips:

Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~

作者介绍:

唐云(茶干),南京大学硕士,2017 年加入阿里巴巴实时计算事业部,专注 Flink 核心引擎开发,入职以来长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。

Flink Weekly | 每周社区动态更新 - 20200107相关推荐

  1. 【Flink】学习笔记-20200302更新

    flink-notes flink的一些学习笔记,将在github上持续更新 https://github.com/pierre94/flink-notes 一.技术博客索引 Flink中文官方文档 ...

  2. 【flink】Flink-Cep实现规则动态更新

    1.概述 我们是用processfunction实现的cep动态更新,然后看到这个是原生api感觉有趣,研究一下 原文:https://mp.weixin.qq.com/s/mh–wQvAWQq2tD ...

  3. Spark/Flink广播实现作业配置动态更新

    点击上方"zhisheng",选择"设为星标" 后台回复"ffa"可以查看 Flink 资料 前言 在实时计算作业中,往往需要动态改变一些配 ...

  4. Flink-Cep实现规则动态更新

    Flink-Cep实现规则动态更新 规则引擎通常对我们的理解就是用来做模式匹配的,在数据流里面检测满足规则要求的数据.有人会问为什么需要规则动态变更呢?直接修改了规则把服务重启一下不就可以了吗,这个当 ...

  5. 通过阿里云K8S Ingress Controller实现路由配置的动态更新

    简介 在Kubernetes集群中,Ingress作为集群内服务对外暴露的访问接入点,其几乎承载着集群内服务访问的所有流量.我们知道,Nginx Ingress Controller是Kubernet ...

  6. 【Spark】SparkStreaming-流处理-规则动态更新-解决方案

    SparkStreaming-流处理-规则动态更新-解决方案 image2017-10-27_11-10-53.png (1067×738)elasticsearch-headElasticsearc ...

  7. CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……【2022.1.19】

    hello,大家好,这里是「CSDN产品周报」第25期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...

  8. 一次Delta lake 0.8.0 踩坑有感:使用新框架的新版本,一定要尽早关注多多关注社区动态...

    点击上方蓝色"明哥的IT随笔",关注并选择"设为星标",keep striving! 一.数据胡三剑客介绍 关注大数据发展动态的朋友,都知道最近几年数据湖存储引 ...

  9. CSDN产品周报第24期|CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……

    hello,大家好,这里是「CSDN产品周报」第24期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...

  10. RocketMQ—Producer(二)路由动态更新

    一.Producer路由信息 从NameServer章节分析得知,路由信息存储在NameServer,生产端和消费端定时向NameServer获取topic相关的路由信息: 从生产者启动流程得知: 路 ...

最新文章

  1. linux内核 机器码,u-boot与Linux内核机器码问题
  2. 关于python和anaconda的一些基础认识
  3. 网络营销中SEO是最常用的“圈粉”引流方式之一
  4. 地图投影系列介绍(一)----地球空间模型
  5. linux-macbook内核,技术|用 Linux 让旧 MacBook 重获新生
  6. 1057 数零壹 (20 分)
  7. 一步步编写操作系统 23 重写主引导记录mbr
  8. point-position2修改版
  9. Huawei is developing a new future technology
  10. 北京理工大学计算机学院杨晨,杨旭_北京理工大学计算机学院
  11. cmd命令行带参启动程序
  12. 【rac asm扩容】在vmware workstation中配置集群(rac)的共享存储(磁盘)方法(流程)
  13. html 的header标签和head标签
  14. background系列属性
  15. js:nodejs搭建http服务器为页面添加mysql中的数据分页
  16. Scala 模式匹配 match-case
  17. Python实现自省的方法有哪些?
  18. 【算法打开(最短路径)--7.25】
  19. 数学建模-分类模型(基于logistic回归)
  20. android ocr 中文版,android ocr

热门文章

  1. Java基础:JDBC
  2. Java编程:哈希表
  3. Java中几种高性能的队列
  4. Java基础学习(2)-注解
  5. karto探秘之open_karto 第四章 --- 回环检测与后端优化
  6. 无人车业务中的视觉三维重建
  7. 运动状态估计之卡尔曼滤波详解
  8. 违反学校防疫规定,这所211高校两研究生被通报批评!
  9. 请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。
  10. python爬虫简单实例