Flink Weekly | 每周社区动态更新-12/24
本期的主要内容由 Hequn Cheng 整理,包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。
作者:程鹤群(军长)
Apache Flink 中文邮件列表中的 Flink Weekly 周报,计划每周一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
本期的主要内容由 Hequn Cheng 整理,包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。
Flink开发
[releases] Kostas Kloudas 建议在 feature-freeze 期间,关注下1.10新功能的文档。他创建了一个总 umbrella issue(FLINK-15273)来跟踪未完成的文档任务。 [1]
[releases] Hequn 展开了一个启动Flink 1.9.2发布的讨论。 本周解决了一个 blocker,还剩一个blocker。 考虑到正在进行的1.10版本以及社区的资源有限,计划在圣诞节后进行1.9.2的投票。[2]
[releases] Patrick 建议将 Flink Docker 映像发布集成到Flink发布过程中。 目前的争论点是是否要为发布 Docker 镜像的 Dockerfiles 提供专门的 git repo。[3]
[sql] 关于在 Flink SQL 中支持 JSON 函数的讨论似乎已经达成共识。 Jark Wu 建议 Forward Xu 开始 Flip 投票。[4]
[runtime] 在试用了新的 FLIP-49 内存配置之后,Stephan 进行了讨论并提供了一些反馈。 他提供了一些关于配置键名称和描述的改进意见。 目前收到了许多其他人的赞同。 [5]
[connectors] Flip-27(新的 source 接口)的讨论本周有了一些更新。 本周讨论的重点是“有界和无界”的概念。 [6]
[pyflink] Jincheng 展开了一个讨论,意在和社区一起讨论 PyFlink 接下来希望支持的功能。目前有一个人回复,期待 PyFlink 能更好地集成 Jupyter。 [7]
[1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Documentation-tasks-for-release-1-10-td36031.html
[2] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-9-2-td36087.html
[3] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Integrate-Flink-Docker-image-publication-into-Flink-release-process-td36139.html
[4] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html
[5] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html
[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-27-Refactor-Source-Interface-td24952.html
[7] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-What-parts-of-the-Python-API-should-we-focus-on-next-td36119.html
已知缺陷
[FLINK-15262] [1.10.0] kafka connector doesn’t read from beginning immediately when ‘connector.startup-mode’ = ‘earliest-offset’. [8]
即使设置了’connector.startup-mode’ = 'earliest-offset’的配置项,Kafka 的 connector 也没有从最开始的点位消费。[FLINK-15300] [1.10.0] Shuffle memory fraction sanity check does not account for its min/max limit. [9]
如果我们有一个设置 shuffle memory 最小/最大值的配置,但是分数超出最小/最大范围,则完整性检查(TaskExecutorResourceUtils#sanityCheckShuffleMemory)可能会失败。[FLINK-15304] [1.11.0] Remove unexpected Hadoop dependency from Flink’s Mesos integration. [10]
目前 Hadoop 依赖存在于 Flink 的 Mesos 集成中,需要去掉。[FLINK-15313] [1.10.0] Can not insert decimal with precision into sink using TypeInformation. [11]
如果 Insert 到一张带有 Decimal 类型的表,并且 Decimal 类型包含精度,那么目前 Flink 会抛出异常。[FLINK-15320] [1.10.0] JobManager crashes in the standalone model when cancelling job which subtask’ status is scheduled. [12]
Standalone 集群下,如果 cancel 一个子 task 的状态是 scheduled 的作业,JobManager 会崩溃。
[8] https://issues.apache.org/jira/browse/FLINK-15262
[9] https://issues.apache.org/jira/browse/FLINK-15300
[10] https://issues.apache.org/jira/browse/FLINK-15304
[11] https://issues.apache.org/jira/browse/FLINK-15313
[12] https://issues.apache.org/jira/browse/FLINK-15320
活动/博客文章/其他
Philip Wilcox 发布了一个博客,介绍 Bird 公司内他们如何使用 Flink 检测离线踏板车。 该博客主要分享一些如何解决实际业务场景中一系列棘手问题的经验,涉及 Kafka,事件时间,水印和排序。 [13]
Preetdeep Kumar 发表了一篇博文,介绍了使用 Apache Flink 处理流数据的用例和最佳实践。[14].
[13] https://www.ververica.com/blog/replayable-process-functions-time-ordering-and-timers
[14] https://dzone.com/articles/streaming-etl-with-apache-flink
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Flink Weekly | 每周社区动态更新-12/24相关推荐
- 【Flink】学习笔记-20200302更新
flink-notes flink的一些学习笔记,将在github上持续更新 https://github.com/pierre94/flink-notes 一.技术博客索引 Flink中文官方文档 ...
- Spark/Flink广播实现作业配置动态更新
点击上方"zhisheng",选择"设为星标" 后台回复"ffa"可以查看 Flink 资料 前言 在实时计算作业中,往往需要动态改变一些配 ...
- CSDN产品周报第24期|CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……
hello,大家好,这里是「CSDN产品周报」第24期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...
- 【flink】Flink-Cep实现规则动态更新
1.概述 我们是用processfunction实现的cep动态更新,然后看到这个是原生api感觉有趣,研究一下 原文:https://mp.weixin.qq.com/s/mh–wQvAWQq2tD ...
- Android零基础入门第44节:ListView数据动态更新
2019独角兽企业重金招聘Python工程师标准>>> 经过前面几期的学习,关于ListView的一些基本用法大概学的差不多了,但是你可能发现了,所有ListView里面要填充的数据 ...
- 今日头条成功的核心技术秘诀是什么?深度解密个性化资讯推荐技术 本文作者:AI研习社 2017-07-05 12:24 导语:从“内行”的角度解密个性化资讯推荐技术。 雷锋网按:本文系知名 IT 技术资
今日头条成功的核心技术秘诀是什么?深度解密个性化资讯推荐技术 本文作者:AI研习社 2017-07-05 12:24 导语:从"内行"的角度解密个性化资讯推荐技术. 雷锋网按:本文 ...
- Ios热更新,实时代码更新,动态更新,动态库framework
动态更新,iOS有三种处理方案 1,开源框架reactive native,但是编程语言是js iOS app可以在运行时从服务器拉去最新的js文件到本读,然后执行,因为js是一门动态的脚本语言 所以 ...
- CSDN APP发布富文本、MarkDown编辑器;社区动态支持快转……【2022.1.19】
hello,大家好,这里是「CSDN产品周报」第25期.本次更新主要涉及CSDN APP,欢迎大家详细了解和使用. CSDN APP 最新版本发布 1.重磅发布富文本.Markdown 编辑器,移动端 ...
- echarts简单使用、echarts通过计时器进行动态更新数据、echarts连接数据库实时更新数据
1.echarts引入 在官网下载并放入项目中. 引入echarts.js文件: <script src="./echarts.js"></script> ...
- 牛客刷题-Java面试题库【动态更新添加题目】(2023.06.19更新)
讲在前面 ✨ 牛客刷题日记–理解为重中之重 刷题一方面是持续的了解到自己哪方面比较欠缺,另一方面也是从各大厂的面试题可以看出当前所需的技术栈的偏重点,持续的巩固基础和查漏补缺,一如代码深似海–学无止境 ...
最新文章
- java打开网页横屏_巅峰之战!三款最热java手机浏览器横屏
- 理解C语言中指针的声明以及复杂声明的语法
- opencv---JPEG图像质量检测代码
- 牛客网 暑期ACM多校训练营(第一场)J.Different Integers-区间两侧不同数字的个数-离线树状数组 or 可持久化线段树(主席树)...
- 将COM+ Events进行到底[转]
- 利用福禄克DSX2-5000 CH解决双绞线布线中常见的故障
- uva 437——The Tower of Babylon
- EasyUI学习总结(二)——easyloader分析与使用
- php 负载监控_php记录服务器负载、内存、cpu状态的代码
- mac 设置终端样式_如何将终端样式设置为freeCodeCamp或任何您想要的样式
- 关于网站备案的44个问题
- 【作业锦集】机器人学导论-空间变换及Matlab实现(part-1)
- 分享一套基于HTML5的网络拓扑图组件 Qunee下载
- 开放世界游戏中的大地图的实现——程序技术篇
- 用LaTeX写毕业论文-UESTC
- 英尺英寸和厘米的换算_英尺米换算(英尺英寸与厘米换算器)
- 硬件设计——PWM原理与设计
- html弹性布局什么意思,弹性布局display:flex是什么意思
- git-修改commit信息
- 爬取猫眼评分前100的电影
热门文章
- 电子邮件是html文件吗,如何在电子邮件正文中嵌入HTML文件
- 抓取Js动态生成数据且以滚动页面方式分页的网页
- JSP简介以及各种内置对象的用法
- 算法笔记_面试题_22. 图与搜索(BFS/DFS)相关_模板及示例十几道
- 自动驾驶_基于强化学习的自动驾驶系统
- 视频+课件|基于多视图几何方式的三维重建
- Structure from Motion综述
- 程序员需要记住的3个优秀网站
- Ortholab has been moved to Google Code
- learning-oracle-how2j