Flink1.14.2发布,除了log4j漏洞你还需要关注什么?
点击上方蓝色字体,选择“设为星标”
回复”面试“获取更多惊喜
本文已经加入「大数据成神之路PDF版」中提供下载。
你可以关注公众号,后台回复:「PDF」 即可获取。
更多PDF下载可以参考:《重磅,大数据成神之路PDF可以分类下载啦!》
Flink1.14.2 Release版本已经在12月16日发布,主要是修复了Log4j导致的可执行任意代码的漏洞问题,但是还有一些非常重要的功能更新。
我挑了其中比较重要的列出来。
flink-pulsar-connector导致的OOM问题
Pulsar客户端在底层使用的 Netty 在 Java 11 和 Java 8 上分配内存的方式不同。在Java 11 上,它将从 Java 直接内存池中分配内存,并受 MaxDirectMemory限制。当前的Pulsar客户端没有用于控制内存限制的配置选项,这可能导致OOM。
建议用户在JDK8环境下使用Pulsar连接器,或者为Flink开启足够内存。
Table API & SQL
DataStream API and Table API的pipeline name修改为一致
批处理模式下 DataStream API 程序的默认作业名称已从"Flink Streaming Job"更改为"Flink Batch Job"。可以使用配置选项"pipeline.name"设置自定义名称。
fromChangelogStream方法
与 1.13.2 相比,StreamTableEnvironment.fromChangelogStream 方法可能会产生不同的流,因为之前没有正确考虑主键。
Table#flatMap支持新的类型推断
Table.flatMap() 现在支持新的类型系统。用户可以进行功能升级。
为新的 API 方法添加 Scala 隐式转换
在 DataStream API 和 Table API 之间新增新的 Scala 隐式转换。
删除 SQL 客户端中的 YAML 环境文件支持
sql-client-defaults.yaml 文件在 1.13 版本中已弃用,现在已完全删除。作为替代方法,您可以使用 -i 启动选项来执行 SQL 初始化文件以设置 SQL 客户端会话。SQL 初始化文件可以使用 Flink DDL 来定义可用的目录、表源和接收器、用户定义的函数以及其他执行和部署所需的属性。
废弃/删除了一些API
以下 Maven 模块已重命名:
flink-table-planner-blink -> flink-table-planner
flink-table-runtime-blink -> flink-table-runtime
flink-table-uber-blink -> flink-table-uber
由于删除了 BatchTableEnvironment,BatchTableSource 和 BatchTableSink 也被删除了。请改用 DynamicTableSource 和 DynamicTableSink。
TableEnvironment#connect方法删除
弃用 toAppendStream 和 toRetractStream
SQL Kafka 连接器和 SQL Elasticsearch 连接器的旧版本及其相应的旧格式已被删除。'connector.type='或'format.type='变更为'connector='选项。
删除 BatchTableSource/Sink、HBaseTableSource/Sink 和相关类
删除 BatchTableSource、ParquetTableSource和相关类
删除 BatchTableSource、OrcTableSource和相关类
PyFlink中删除BatchTableEnvironment和旧planner的使用
DataStream API
修复多个输入操作符的空闲处理
AbstractStreamOperator、Input 等类添加了 processWatermarkStatusX 方法。它允许在两个/多个输入操作符中组合水印时考虑 WatermarkStatus。
POJO字段上可以使用@TypeInfo注解
Connectors
暴露标准化Metrics
使用统一的 Source 和 Sink 接口的连接器将自动暴露某些标准化指标。
KafkaSink 取代了 FlinkKafkaProducer
FlinkKafkaConsumer废弃
Checkpoints
alignmentTimeout语义变更
alignmentTimeout配置的语义已经改变了含义,现在是检查点开始和任务接收到检查点屏障之间的时间。
BROADCAST 禁用未对齐检查点
广播分区不能与未对齐的检查点一起使用。因为无法保证在所有通道中以相同的速率消费数据。这可能导致某些任务应用与某个广播事件相对应的状态更改,而其他任务则不会。还原时,可能会导致状态不一致。
不在支持Apache Mesos
「Mesos is phasing out gradually and has been replaced with Kubernetes in the containerized world」。
准备和Mesos说在再见吧。
《大数据成神之路》正在全面PDF化。
你只需要关注并在后台回复「PDF」
就可以看到阿里云盘下载链接了!
另外我把发表过的文章按照体系全部整理好了。现在你可以在后台方便的进行查找:
电子版把他们分类做成了下面这个样子,并且放在了阿里云盘提供下载。
我们点开一个文件夹后:
如果这个文章对你有帮助,不要忘记 「在看」 「点赞」 「收藏」 三连啊喂!
Hi,我是王知无,一个大数据领域的原创作者。
放心关注我,获取更多行业的一手消息。
八千里路云和月 | 从零到大数据专家学习路径指南
互联网最坏的时代可能真的来了
我在B站读大学,大数据专业
我们在学习Flink的时候,到底在学习什么?
193篇文章暴揍Flink,这个合集你需要关注一下
Flink生产环境TOP难题与优化,阿里巴巴藏经阁YYDS
Flink CDC我吃定了耶稣也留不住他!| Flink CDC线上问题小盘点
我们在学习Spark的时候,到底在学习什么?
在所有Spark模块中,我愿称SparkSQL为最强!
硬刚Hive | 4万字基础调优面试小总结
数据治理方法论和实践小百科全书
标签体系下的用户画像建设小指南
4万字长文 | ClickHouse基础&实践&调优全视角解析
【面试&个人成长】2021年过半,社招和校招的经验之谈
大数据方向另一个十年开启 |《硬刚系列》第一版完结
我写过的关于成长/面试/职场进阶的文章
当我们在学习Hive的时候在学习什么?「硬刚Hive续集」
Flink1.14.2发布,除了log4j漏洞你还需要关注什么?相关推荐
- 涉及 GitHub、GitLab,研究人员发现 70 个 Web 缓存中毒漏洞;微软:许多攻击者仍对 Log4j 漏洞加以利用;VS 2022 新版发布 | 开源日报
开源吞噬世界的趋势下,借助开源软件,基于开源协议,任何人都可以得到项目的源代码,加以学习.修改,甚至是重新分发.关注「开源日报」,一文速览国内外今日的开源大事件吧! 一分钟速览新闻点! 微软:许多攻击 ...
- 美国国土安全部:Log4j 漏洞的影响将持续十年或更久
聚焦源代码安全,网罗国内外最新资讯! 作者:Jessica Lyons Hardcastle 编译:代码卫士 专栏·供应链安全 数字化时代,软件无处不在.软件如同社会中的"虚拟人" ...
- 网安大事件丨Fortinet对Apache Log4j漏洞利用的全面复盘与防御
起底Apache Log4j漏洞: 如何出现.如何被利用与如何防御 受影响平台: 任何使用Log4j2漏洞版本的应用程序和服务 受影响用户: 任何使用Log4j的具备该漏洞版本的组织 影响: 远程攻击 ...
- Elasticsearch Log4j漏洞快速修复步骤
Elasticsearch Log4j漏洞快速修复步骤 原创2021-12-14 21:27·walkingcloud 一.Elasticsearch关于Log4j2漏洞的官方说明 可以参考如下链接 ...
- 如何跟踪log4j漏洞原理及发现绕WAF的tips
log4j漏洞的形成原因已经有很多分析文章了,这里说一说我是如何在了解到有漏洞后,跟进漏洞产生原理的,以及发现的一些绕WAF tips 跟进漏洞产生原因的思路 如何发现漏洞产生原因的 了解到log4j ...
- 绿盟科技发布OpenSSL高危漏洞技术分析与防护方案 G20成员国美国、中国、德国受影响较大...
近日,OpenSSL官方发布了版本更新,修复了多个OpenSSL漏洞,这次更新所修复的漏洞中,有两个危害等级较高的为CVE-2016-6304和CVE-2016-6305.绿盟科技对此漏洞进行了技术分 ...
- OpenShift Security (13) - 利用Log4j漏洞攻击容器
<OpenShift 4.x HOL教程汇总> 演示视频 利用 Log4j 漏洞攻击容器需要有2个条件,1)Java应用中包含受到漏洞影响的Log4j.2)带有"JNDI 注入& ...
- 紧急:Spring框架被爆出存在0day级别远程命令执行漏洞。漏洞危害程度不亚于log4j漏洞根据目前掌握的信息,JDK版本在9及以上的Spring框架均受影响。该漏洞目前无官方修复补丁
Spring框架被爆出存在0day级别远程命令执行漏洞.漏洞危害程度不亚于log4j漏洞根据目前掌握的信息,JDK版本在9及以上的Spring框架均受影响. 漏洞信息和漏洞影响排查方法如下: 漏洞名称 ...
- 深入解析著名的阿里云Log4j 漏洞
几乎每个系统都会使用日志框架,用于记录日志信息,这些信息可以提供程序运行的上下文,但是日志过多也会影响系统的性能,所以好的日志框架应该是可靠,快速和可扩展的. Apache Log4j2 是一个基于 ...
最新文章
- 排班系统c语言设计说明,帮我设计一个关于员工排班的C语言程序
- SharePoint 2010 文档库添加文件icon
- Python编程基础:第十三节 循环控制语句Loop Control Statements
- 程序员面试金典适合java么,【程序员面试金典】面试题 01.03. URL化(示例代码)
- leetcode - 967. 连续差相同的数字(集合、递归、动态规划)
- Hibernate之二级缓存
- DelphiBCB一线程序员开发经验
- maven详解scope
- chrome中如何下载文本文件(不是直接打开)
- 【MySQL】java应用开发与实践读书笔记
- 领域(学科)知识图谱构建心得
- tinymce的中文语言包
- 电脑怎么分区硬盘分区方法
- 弹丸论破2 中文攻略
- 使用Texmacs帮助您写格式规范统一的BLOG
- Linux操作系统下的权限设置
- 【基于QMediaPlayer的简易视频播放器】— 3、结合QSlider实现播放进度控制和音量控制
- 【答粉丝问】面试时,面试官说“谈谈你的缺点”时,该怎么回答?
- 关于Rxjava的简单使用
- MODIS数据几何校正(IDL)