Flink 如何处理背压

传送门：Flink 系统性学习笔记

Flink 1.4 版本

人们经常会问 Flink 是如何处理背压的。答案很简单：Flink 不使用任何复杂的机制，因为它不需要任何处理机制。只凭借数据流引擎，就可以从容地应对背压。在这篇博文中，我们介绍一下背压。然后，深入了解 Flink 是如何在任务之间传送缓冲区中的数据，并展示流数传输自然双倍下降的背压机制。我们最终通过一个小实验展示这一点。

1. 什么是背压

像 Flink 这样的流处理系统需要能够从容地处理背压。背压是指系统在一个临时负载峰值期间接收数据的速率大于其处理速率的一种场景(可以理解为处理速度慢，接收速度快，系统处理不了接收的数据)。许多日常情况都会导致背压。例如，垃圾回收卡顿可能导致流入的数据堆积起来，或者数据源可能出现发送数据过快的峰值。如果处理不当，背压会导致资源耗尽，甚至导致数据丢失。

让我们看一个简单的例子。假设一个数据流管道包含一个数据源，一个流作业和一个 Sink，以每秒 500 万个元素的稳定速度处理数据，如下所示(一个黑条代表 100 万个元素，下图是系统某一秒的快照)：

Flink 如何处理背压相关推荐

Flink 的背压机制（Back Pressure）
什么是 Back Pressure 如果看到任务的背压警告(如 High 级别),这意味着生成数据的速度比下游算子消费的的速度快.以一个简单的 Source -> Sink 作业为例.如果能看 ...
Flink的背压问题产生原因和解决方法
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkpoint生成超时, 失败: ...
Flink系列-背压(反压)
目录了解背压什么是背压背压产生的原因背压导致的影响定位背压解决背压了解背压什么是背压在流式处理系统中,如果出现下游消费的速度跟不上上游生产数据的速度,就种现象就叫做背压 (backp ...
Flink的背压机制
想起来之前被问到了一个问题,如果Flink中的Task是一直不停的运行的话,那么拉取Kafka数据的Source端是不是会一直不停的拉取数据,如果消费速度不及时,内存不就很快会被撑爆了么?一开始对这个 ...
flink背压问题处理(还没弄完)
所谓的背压就是反压(backpressure) 什么是背压问题流系统中消息的处理速度跟不上消息的发送速度,导致消息的堆积.如果系统能感知消息堆积,并调整消息发送的速度. 使消息的处理速度和发送速度相 ...
追源索骥：透过源码看懂Flink核心框架的执行流程
https://www.cnblogs.com/bethunebtj/p/9168274.html 追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 Hello,World WordC ...
追源索骥：透过源码看懂Flink核心框架的执行流程--来自GitHub
追源索骥:透过源码看懂Flink核心框架的执行流程联系qq2499496272可进行删除,需要文件版本的私聊!!~ 文章目录追源索骥:透过源码看懂Flink核心框架的执行流程前言 1.从 ~~H ...
背压/反压/BackPressure
Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容: Apache ...
轻松入门进阶Flink第一课 Flink基础
开篇词:实时计算领域最锋利的武器 Flink 你好,欢迎来到 Flink 专栏,我是王知无,目前在某一线互联网公司从事数据平台架构和研发工作多年,算是整个大数据开发领域的老兵了. 我最早从 Relea ...

Flink 如何处理背压

1. 什么是背压

Flink 如何处理背压相关推荐

最新文章

热门文章