大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007

然后我们再来比较一下spark和flink,可以看到

spark是虽然也是说是做流的处理,但是spark的架构实现是,基于微批处理的,也就是

来了数据,先攒一攒,攒够了一批以后,才去处理,他的延时,可以得到几百毫秒,甚至秒级别的,主要是因为,他还是基于,批处理的概念,进行数据处理

实际上就是把这个批处理,做的足够的小.只要足够的小,速度就会快一些,但是再小,也会受限于,批处理的这种设计.

所以spark的数据处理速度还是会慢一些.

但是对于flink来说,就不一样了,他没有批处理的概念,他就是来一条数据,就处理一条数据,所以flink可以做到

真正的毫秒级的数据处理.

我们可以看到spark采用了rdd模型,RDD是个数据集,也就是说,对于spark来说,

因为rdd是个数据集合,也就是spark处理数据的时候会把数据,攒一攒再处理,所以这就是spark慢的原因.

而flink是基于数据模型的数据流

大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007相关推荐

大数据_Flink_流式处理_简介_为什么要用Flink---Flink工作笔记0002
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 1.数据如果是连续不断产生的话,这样就是数据流的按年,比如,聊天的数据,是有一条发一条, 或者,用 ...
大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
大数据_Flink_流式处理_简介_认识一下什么是BI中的ETL---Flink工作笔记0005
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 ETL开发工程师 extraction是抽取数据,就是可以从关系型数据库,表,也可能是文本文件, ...
大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 流处理和批处理想必,就是低延时和吞吐量高,用就用的他这个特点. 如果,数据量特别大,可能一个批处理 ...
大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006
然后我们再来看一下flink的特点我们可以先看一下传统的左边的数据处理过程,其实就类似我们做的传统的web应用, 也可以想一下netty处理数据的过程, 可以把请求看成一个事件,可以看到,服务器启动 ...
大数据_Flink_流式处理_简介_流数处理的发展演变---Flink工作笔记0004
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 我们先看一下传统的处理数据的架构, 可以看到我们一般都是后端,有个关系型数据库比如mysql,然后 ...
大数据_Flink_流式处理_简介_Flink是什么---Flink工作笔记0001
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 是一个框架,分布式的处理引擎,对有状态的计算,有界无界,这个后面咱们说是什么意思. 用于对有界和无 ...
大数据_Flink_Java版_数据处理_窗口起始点和偏移量---Flink工作笔记0058
上一节我们用数据测试,得到的结果是,[195,210)这是一个窗口,对吧, 很奇怪,为什么? 因为这里我们输入的第一个数据的时间戳是,199对吧,那么为什么不是 [199,214),为什么不是这样呢? ...
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
近年来,随着企业信息化建设的飞速发展,大数据应用的问题越来越备受关注.很多企业投入大量的人力.物力和财力建设企业大数据平台,平台建设工作涵盖数据采集.数据处理.数据存储.数据服务.数据展示以及数据质量 ...

大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007

大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007相关推荐

最新文章

热门文章