大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006

然后我们再来看一下flink的特点

我们可以先看一下传统的左边的数据处理过程,其实就类似我们做的传统的web应用,

也可以想一下netty处理数据的过程,

可以把请求看成一个事件,可以看到,服务器启动一直等着,这事件来了以后,服务器也就是application,去有个trigger,触发器

可能针对这个请求,触发去做某些动作,做完以后,把数据再写入到关系型数据库中去,当然也可能是先读取,再处理,

再存盘.这个过程如果服务器一直在处理其他事件就会等着.后来netty,做了一下异步处理,后端可以启动,多个线层来同时处理会快一些.

然后我们看一下flink的这个处理方式,可以看到

flink其实也是基于事件进行处理的,但是他在处理的时候事件来了以后,他先会把这些事件存入到一个

event log中,然后再连续不断的把这些事件,再输送给我们的应用,服务器,应用服务器会给每个请求,在

内存中存一个状态,同时会,每隔一段时间就把这个状态信息,存盘,这样保证状态数据的安全性,然后

同时提高了数据处理速度,因为操作内容,然后,同样处理过程中可能会触发action,也就是对数据的处理动作,

然后处理完以后也会触发一个事件,然后把处理后的结果都放到一个事件event log中去,然后再去

把处理后的结果,输出给其他应用,或者做一些其他操作.

大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006相关推荐

大数据_Flink_流式处理_简介_Flink是什么---Flink工作笔记0001
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 是一个框架,分布式的处理引擎,对有状态的计算,有界无界,这个后面咱们说是什么意思. 用于对有界和无 ...
大数据_Flink_流式处理_简介_为什么要用Flink---Flink工作笔记0002
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 1.数据如果是连续不断产生的话,这样就是数据流的按年,比如,聊天的数据,是有一条发一条, 或者,用 ...
大数据_Flink_流式处理_简介_认识一下什么是BI中的ETL---Flink工作笔记0005
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 ETL开发工程师 extraction是抽取数据,就是可以从关系型数据库,表,也可能是文本文件, ...
大数据_Flink_流式处理_简介_流数据处理的应用行业---Flink工作笔记0003
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 流处理和批处理想必,就是低延时和吞吐量高,用就用的他这个特点. 如果,数据量特别大,可能一个批处理 ...
大数据_Flink_流式处理_简介_流数处理的发展演变---Flink工作笔记0004
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 我们先看一下传统的处理数据的架构, 可以看到我们一般都是后端,有个关系型数据库比如mysql,然后 ...
大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007
然后我们再来比较一下spark和flink,可以看到 spark是虽然也是说是做流的处理,但是spark的架构实现是,基于微批处理的,也就是来了数据,先攒一攒,攒够了一批以后,才去处理,他的延时,可 ...
大数据_Hbase-shell命令_(补充_hbase存数据只增加不删除_只会适时删除)---Hbase工作笔记0006
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 我们把上次删除的表再创建出来 create 'student' ,'info' 然后我们去访问一下 ...
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
近年来,随着企业信息化建设的飞速发展,大数据应用的问题越来越备受关注.很多企业投入大量的人力.物力和财力建设企业大数据平台,平台建设工作涵盖数据采集.数据处理.数据存储.数据服务.数据展示以及数据质量 ...
大数据_Flink_Java版_数据处理_流处理API_Flink中的UDF函数类---Flink工作笔记0036
然后我们再来看一个叫UDF函数的东西,利用这个可以看到可以实现更细粒度的流的控制.这个UDF函数,包含什么呢? 首先我们看flink暴露了所有udf函数的接口,这里有MapFunction,Filt ...

大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006

大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006相关推荐

最新文章

热门文章