waterMark相关

1、waterMark概念

：取自所有到达数据时间戳的最大值-延迟时间，所以保持单调递增的

窗口内的数据是按照eventTime分桶的时间窗口数据

watermark 是每条数据上带了一个时间戳，其含义是：watermark之前的数据都到齐了，在这个之后不会收到小于或等于该时间戳的数据。

eventTime值为1501750584000（2017-08-03 08:56:24.000），watermark策略为偏移4秒，这条数据的watermark时间就是 1501750584000 - 4000 = 1501750580000（2017-08-03 08:56:20.000）。

这条数据的watermark时间是什么含义呢？即：timestamp小于2017-08-03 08:56:20.000的数据都已经到达了。

2、watermark案例：

3、watermark上下游传递

如果上下游有多个并行子任务的话，上游朝下游传递是广播，下游接收上游的watermark会保留分区watermark，下游自己的watermark会以所有分区最小的watermaker为准。

4、窗口时间确定

//窗口start的创建公式 timestamp - (timestamp - offset + windowSize) % windowSize，第一条数据是1547718199，窗口为[195-210),[210-225),[225-240)

5、实际案例：需求为输出最小温度和最新时间戳

窗口为[195-210),[210-225),[225-240)

输入数据为：15s一个窗口，-3s的watermark

sensor_1,1547718199,32.9
sensor_1,1547718209,30.7
sensor_1,1547718208,34.5
sensor_1,1547718211,34.5
sensor_1,1547718213,30.9
[195-210)在210的一分钟后关闭，此时输出结果：windowSteam> SensorReading(sensor_1,1547718208,30.7)，最大时间戳螫208，不包含211和213

sensor_1,1547718212,28
sensor_1,1547718225,30
sensor_1,1547718228,34

[210-225)窗口，输出结果windowSteam> SensorReading(sensor_1,1547718212,28.0)，最大时间戳螫212，不包含225

sensor_1,1547718213,23

虽然[210-225)窗口在225的一分钟后关闭，allowedLateness(Time.minutes(1))的作用会使输出如下，在之前的走之前reduce的逻辑，然后直接输出，迟到的数据每来一条增量更新输出一次

windowSteam> SensorReading(sensor_1,1547718213,23.0)

输入sensor_1,1547718288,21
的时候[210-225)窗口关闭了

再输入

sensor_1,1547718219,21

会把数据输出到lateStream流里面了，sideOutputLateData(lateTag)触发

lateStream> SensorReading(sensor_1,1547718219,21.0)

.sideOutputLateData(lateTag)什么时候触发：