大数据_Flink_Java版_数据处理_窗口起始点和偏移量---Flink工作笔记0058
上一节我们用数据测试,得到的结果是,[195,210)这是一个窗口,对吧,
很奇怪,为什么?
因为这里我们输入的第一个数据的时间戳是,199对吧,那么为什么不是
[199,214),为什么不是这样呢?
那么再想,为什么不可以是,[190,205)呢...咋回事
这里就涉及到,窗口起始点的确定了.
那么起始窗口是怎么确定的呢?
这里我们需要去看一下源码,可以看到
这里在keyedStream中,我们看一下这个,
timeWindow这个开窗的方法,可以看到,这里我们用的是EventTime事件时间,
所以ProcessingTime的分支我们就不用看了,这里看,下面这个分支
可以看到这里调用的是TumblingEventTimeWindows.of方法
大数据_Flink_Java版_数据处理_窗口起始点和偏移量---Flink工作笔记0058相关推荐
- 大数据_Flink_Java版_ProcessFunction(4)_应用案例_高低温分流---Flink工作笔记0069
我们使用侧输出流再来做一下那个高低温分流.这次我们使用 ProcessFunction来实现. 可以看到之前我们用split算子把一个流分成了多个流,然后这次我们利用ProcessFunction, ...
- 大数据_Flink_流式处理_Flik Vs Spark streaming_Flink的特点---Flink工作笔记0007
然后我们再来比较一下spark和flink,可以看到 spark是虽然也是说是做流的处理,但是spark的架构实现是,基于微批处理的,也就是 来了数据,先攒一攒,攒够了一批以后,才去处理,他的延时,可 ...
- 大数据_Flink_Java版_数据处理_时间语义(1)_时间语义概念---Flink工作笔记0049
然后我们来看flink中的一个重要概念,时间语义 来看一下,一般情况我们说的时间是,指的是系统的时间,比如数据是在系统时间是8点到9点到的,那么这个数据就属于8点到9点的窗口.如果这里的时间指的是,数 ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(3)_Reduce聚合算子---Flink工作笔记0031
然后我们上面一节,说了滚动聚合算子,实现了 传感器数据,我们从流数据中,实时获取温度最大值,并且,对一条数据,我们通过maxBy,也更新了 除了温度值的,其他的字段,维持了一行数据原来的样子 最开始我 ...
- 大数据_Flink_Java版_数据处理_流处理API_Sink操作_把数据存储到ElasticSearch---Flink工作笔记0040
然后我们再来去看,如何把flink中的数据sink到Es中去 首先我们添加上依赖,可以看到这里用的是es,6对吧,现在我们都用7了. 加入以后我们,新建一个类 SinkTest3_Es
- 大数据_Flink_Java版_数据处理_流处理API_Flink中的UDF函数类---Flink工作笔记0036
然后我们再来看一个叫UDF函数的东西,利用这个可以看到可以实现 更细粒度的流的控制.这个UDF函数,包含什么呢? 首先我们看flink暴露了所有udf函数的接口,这里有MapFunction,Filt ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(5)_connect合流---Flink工作笔记0033
上一节我们说了分流,然后这一节我们来说一下合流处理, 可以看到合流用到的是connect,就是把两个流,合成一个叫ConnectedSreams的流对吧,得到 这个流以后,其实这个流,还是包含stre ...
- 大数据_Flink_Java版_数据处理_流处理API_Transform(5)_union合流---Flink工作笔记0034
上面我们看了connect合流对吧,可以看到connect合流,可以把不同类型的流,合并到一起 形成一个流. 然后我们去看,这个DataStream中的connect只能把两个流合在一起对吧, 只能两 ...
- 大数据_Flink_Java版_状态管理(2)_算子状态---Flink工作笔记0061
在flink中我们说,对于reduce,map,flatMap等这样的算子,他的状态,只是局限于这个任务的,不可能传输到其他任务对吧,因为我们知道,不同的任务可能在不同的节点上,那么我们知道状态都是存 ...
最新文章
- 云计算安全解决方案白皮书(二)
- python字符串和字节串有什么区别_对于Python中的字节串bytes和字符串以及转义字符的新的认识...
- 《ASCE1885的网络编程》---Winsock APIのIP地址转换函数
- ue4材质节点怎么用_UE4材质教程
- linux 脚本 数字运算符,Shell 基本运算符
- 韩顺平php视频笔记45 循环相关语句break,continue常量
- IntelliJ IDEA这样配置,代码效率嗖嗖的
- DDos防御工具DDoS-Defender-v2.1.0
- fabric-sample配置常见错误解析
- 菜单设计器(Menu Designer)及其B/S,C/S双重实现(B/S开源)
- MySQL 服务无法启动。 服务没有报告任何错误。 请键入 NET HELPMSG 3534 以获得更多的帮助。...
- 数据库备份的三种方式 不要再干掉数据库跑路啦~
- 正则表达式 Regular Express
- 京东方、立讯精密纷纷向苹果靠拢,再次撕下国产手机遮羞布
- 数据库--流程控制语句的应用
- 关于uint与int
- Bugku web(1—35)
- 黑马Redis学习——实战篇(4)
- 如何在 BGP 中通告网络
- Apache Tomcat样例目录session操纵漏洞
热门文章
- ios 横向滚轮效果_iOS 可以纵向横向滑动的表格实现
- linux安装yum的脚本,lnmp一键安装脚本yum方式快速安装
- oracle apex 日志,oracle-apex - 在oracle apex报告中显示员工记录或经理记录及其员工 - SO中文参考 - www.soinside.com...
- 微信开发者工具不显示二维码问题
- vjudge-Knight Moves(bfs)
- 反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)加入自己的思考(pytorch函数)(二)
- 多项目Node版本控制
- NBA理性分析:30年最强夺冠阵容
- 如何才能学好javascript
- Docker 基础介绍及配置安装 [一]