Accumulator源码分析学习

Accumulator源码结构

Flink 的Accumulator是一个累加器，和spark的累加器是一个道理

Accumulator 结构

public interface Accumulator<V, R extends Serializable> extends Serializable, Cloneable {
}

成员方法

add
getLocalValue
resetLocal
merge
clone

SimpleAccumulator

源码中SimpleAccumulator接口继承了累加器，供上层的其他累加器实现这个接口，然后实现具体逻辑

@Public
public interface SimpleAccumulator<T extends Serializable> extends Accumulator<T,T> {}

IntCounter，LongCounter，DoubleCounter：允许将 TaskManager 发送的 int，long，double 值汇总在一起
LongMaximum，LongMinimum，IntMaximum，IntMinimum，DoubleMaximum，DoubleMinimum：累加器，用于确定不同类型的最大值和最小值

源码中可以看出有很多具体的不同功能的实现类都实现了这个接口

累加器使用案例

code

lines.flatMap(new RichFlatMapFunction<String, Tuple2<String, Integer>>() {//创建一个累加器private IntCounter linesNum = new IntCounter();@Overridepublic void open(Configuration parameters) throws Exception {//注册一个累加器getRuntimeContext().addAccumulator("linesNum", linesNum);}@Overridepublic void flatMap(String line, Collector<Tuple2<String, Integer>> out) throws Exception {String[] words = line.split("\\W+");for (String word : words) {out.collect(new Tuple2<>(word, 1));}// 处理每一行数据后 linesNum 递增linesNum.add(1);}
})
.groupBy(0)
.sum(1)
.print();//获取累加器结果
int linesNum = env.getLastJobExecutionResult().getAccumulatorResult("linesNum");
System.out.println(linesNum);

【FLink源码分析】：Accumulator源码分析相关推荐

老李推荐：第5章5节《MonkeyRunner源码剖析》Monkey原理分析-启动运行: 获取系统服务引用 1...
老李推荐:第5章5节<MonkeyRunner源码剖析>Monkey原理分析-启动运行: 获取系统服务引用上一节我们描述了monkey的命令处理入口函数run是如何调用optionPro ...
手机自动化测试：Appium源码分析之跟踪代码分析四 1
手机自动化测试:Appium源码分析之跟踪代码分析四控制器模块 // Appium webserver controller methods // https://github.com/hugs/a ...
【原创】【专栏】《Linux设备驱动程序》--- LDD3源码目录结构和源码分析经典链接
http://blog.csdn.net/geng823/article/details/37567557 [原创][专栏]<Linux设备驱动程序>--- LDD3源码目录结构和源码分析 ...
【Linux 内核】进程管理 ( 进程相关系统调用源码分析 | fork() 源码 | vfork() 源码 | clone() 源码 | _do_fork() 源码 | do_fork() 源码 )
文章目录一.fork 系统调用源码二.vfork 系统调用源码三.clone 系统调用源码四._do_fork 函数源码五.do_fork 函数源码 Linux 进程相关 " 系统 ...
【Android 热修复】热修复原理 ( 类加载分析 | 分析 PathClassLoader 源码 | 分析 BaseDexClassLoader 源码 | 分析 PathDexList 源码 )
文章目录一.分析 PathClassLoader 源码二.分析 BaseDexClassLoader 源码三.分析 PathDexList 源码四. 源码资源一.分析 PathClassLo ...
【Android 电量优化】JobScheduler 源码分析 ( JobServiceContext 源码分析 | 闭环操作总结 | 用户提交任务 | 广播接收者接受相关广播触发任务执行 )★
文章目录一.JobServiceContext 引入二.JobServiceContext 源码分析三.用户在应用层如何使用 JobScheduler 四.用户提交任务五.广播接收者监听广播触 ...
老李推荐：第6章1节《MonkeyRunner源码剖析》Monkey原理分析-事件源-事件源概览 1...
老李推荐:第6章1节<MonkeyRunner源码剖析>Monkey原理分析-事件源-事件源概览在上一章中我们有简要的介绍了事件源是怎么一回事,但是并没有进行详细的描述.那么往下的这几个 ...
kafka源码分析之一server启动分析
0. 关键概念关键概念 Concepts Function Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上. Partition 是Kafka中横向扩展和一 ...
Android源码分析--MediaServer源码分析（二）
在上一篇博客中Android源码分析–MediaServer源码分析(一),我们知道了ProcessState和defaultServiceManager,在分析源码的过程中,我们被Android的B ...

【FLink源码分析】：Accumulator源码分析

文章目录

Accumulator源码分析学习

Accumulator源码结构

Accumulator 结构

成员方法

SimpleAccumulator

累加器使用案例

code

【FLink源码分析】：Accumulator源码分析相关推荐

最新文章

热门文章