大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061
在flink中我们说,对于reduce,map,flatMap等这样的算子,他的状态,只是局限于这个任务的,不可能传输到其他任务对吧,因为我们知道,不同的任务可能在不同的节点上,那么我们知道状态都是存在内存中的,不可能再去传输到别的机器上去,所以,算子任务都是跟算子,以及当前任务绑定的.
如果需要flink来管理状态,那么需要预先注册算子状态.
另外还有个keyed state,这个状态是对keyby以后的数据处理,因为是根据key进行分组的,所以
这里keyedstate都是跟特定的key,相关联的.
然后我们再来看,这个算子状态,可以看到如果一任务有两个子任务,那么每个任务算子的状态都是
隔离的,他们不能相互访问,但是对于同一个子任务而言是共享的.
大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061相关推荐
- 大数据_Flink_Java版_数据处理_窗口起始点和偏移量---Flink工作笔记0058
上一节我们用数据测试,得到的结果是,[195,210)这是一个窗口,对吧, 很奇怪,为什么? 因为这里我们输入的第一个数据的时间戳是,199对吧,那么为什么不是 [199,214),为什么不是这样呢? ...
- 大数据_Flink_Java版_数据处理_时间语义(1)_时间语义概念---Flink工作笔记0049
然后我们来看flink中的一个重要概念,时间语义 来看一下,一般情况我们说的时间是,指的是系统的时间,比如数据是在系统时间是8点到9点到的,那么这个数据就属于8点到9点的窗口.如果这里的时间指的是,数 ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(3)_Reduce聚合算子---Flink工作笔记0031
然后我们上面一节,说了滚动聚合算子,实现了 传感器数据,我们从流数据中,实时获取温度最大值,并且,对一条数据,我们通过maxBy,也更新了 除了温度值的,其他的字段,维持了一行数据原来的样子 最开始我 ...
- 大数据_Flink_Java版_数据处理_流处理API_Sink操作_把数据存储到ElasticSearch---Flink工作笔记0040
然后我们再来去看,如何把flink中的数据sink到Es中去 首先我们添加上依赖,可以看到这里用的是es,6对吧,现在我们都用7了. 加入以后我们,新建一个类 SinkTest3_Es
- 大数据_Flink_Java版_ProcessFunction(4)_应用案例_高低温分流---Flink工作笔记0069
我们使用侧输出流再来做一下那个高低温分流.这次我们使用 ProcessFunction来实现. 可以看到之前我们用split算子把一个流分成了多个流,然后这次我们利用ProcessFunction, ...
- 大数据_Flink_Java版_数据处理_流处理API_Flink中的UDF函数类---Flink工作笔记0036
然后我们再来看一个叫UDF函数的东西,利用这个可以看到可以实现 更细粒度的流的控制.这个UDF函数,包含什么呢? 首先我们看flink暴露了所有udf函数的接口,这里有MapFunction,Filt ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(5)_connect合流---Flink工作笔记0033
上一节我们说了分流,然后这一节我们来说一下合流处理, 可以看到合流用到的是connect,就是把两个流,合成一个叫ConnectedSreams的流对吧,得到 这个流以后,其实这个流,还是包含stre ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(5)_union合流---Flink工作笔记0034
上面我们看了connect合流对吧,可以看到connect合流,可以把不同类型的流,合并到一起 形成一个流. 然后我们去看,这个DataStream中的connect只能把两个流合在一起对吧, 只能两 ...
- 大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如 从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
最新文章
- 微信小程序长按保存图片
- 【虚拟化】docker安装ElasticSearch+Kibana,下载IK分词器
- 禅道 Rest API 开发
- AntDB上使用表空间
- SAP Spartacus B2B ListComponent响应回车事件的实现
- MySQL-locate()函数
- 为什么PHP能够受到大家追捧和喜爱,又为什么饱受嘲讽?
- Security+ 学习笔记52 风险管理
- 国密 sm系列 java实现_国密标准SM3算法,java实现
- Android 图片压缩也即生成缩略图方法
- 视频字幕制作软件:iSubtitle for mac中文版
- 聊一聊芯片后端的标准单元-standard cell
- GOF23--创建型模式
- 手机通过笔记本设置AP(wifi 热点)上网 intel5100 agn 无线网卡 win7系统
- 虚拟机克隆之后的IP修改问题
- [APIO2017]考拉的游戏,构造与思维题
- leetcode807. 保持城市天际线(java)
- 菜鸟程序员的成长之路(一)——菜鸟程序员起步
- Python爬知乎妹子都爱取啥名
- 周易六十四卦——风泽中孚卦