flink 1-个人理解

flink流程

创建env，就是起一个环境
添加源（就是数据从哪儿来），文件、socket、collection、addSource
处理数据（transformation）
消费数据（把数据放哪儿）files、sockets、external system、print、addSink

如何保持数据一致性

watermark
checkpoint

ref

flink 官网

flink 1-个人理解相关推荐

Flink的架构理解和相关扩展
文章目录前言一.Flink是什么? 二.Flink的优势是什么? 1.高吞吐.低延迟.高性能 2.支持事件时间概念 3.支持有状态计算 4.支持高度灵活的窗口(Window)操作 5.基于轻量级分 ...
flink检查点简单理解
flink检查点其实有两种实现方式: 1.朴素算法–数据源暂停接受数据,待数据流中的数据全部处理完毕,再把数据源偏移,键值状态,算子状态等写入检查点路径中,优点是实现简单,缺点是处理太慢 2.基于Ch ...
flink check-point save-point理解
参考 https://blog.csdn.net/hxcaifly/article/details/84673292 https://www.jianshu.com/p/4d31d6cddc99 ht ...
深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）
导语 | 大数据计算分为离线计算和实时计算,其中离线计算就是我们通常说的批计算,代表技术是Hadoop MapReduce.Hive等:实时计算也被称作流计算,代表技术是Storm.Spark Str ...
Flink Checkpoint 机制：如何保证 barrier 和数据之间不乱序？
Flink Checkpoint 机制:如何保证 barrier 和数据之间不乱序? 1 前言 1.1 什么是 state? 要说 checkpoint,首先要从 state 聊起.之前有被问到对于 ...
Flink深度解读--附实现原理细节
导语 | 大数据计算分为离线计算和实时计算,其中离线计算就是我们通常说的批计算,代表技术是Hadoop MapReduce.Hive等:实时计算也被称作流计算,代表技术是Storm.Spark Str ...
Flink学习1-基础概念
Flink学习1-基础概念 Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文推荐摘要本文是作者学习Flink的一些文档整理.记录和心得体会,希望与 ...
轻松入门进阶Flink第十课 Flink 面试
第39讲:Flink 面试-基础篇到目前为止,关于 Flink 的学习我们就告一段落了,接下来我们将进入最后一个面试模块的学习.在当前大背景下,面试这一关是求职者必须要面对的,也能从侧面考察对 Fl ...
大数据入门及各类技术介绍
大数据入门及各类技术介绍大数据架构数据采集数据存储数据处理数据应用前言: 由于之后工作需要了解部分大数据相关技术,现将查阅的资料整理汇总只列出主要技术介绍供大家入门查看,不包含具体使用和 ...

flink 1-个人理解

flink流程

如何保持数据一致性

ref

flink 1-个人理解相关推荐

最新文章

热门文章