两阶段聚合（局部聚合+全局聚合）

// 第一步，给RDD中的每个key都打上一个随机前缀。
JavaPairRDD<String, Long> randomPrefixRdd = rdd.mapToPair(new PairFunction<Tuple2<Long,Long>, String, Long>() {private static final long serialVersionUID = 1L;@Overridepublic Tuple2<String, Long> call(Tuple2<Long, Long> tuple)throws Exception {Random random = new Random();int prefix = random.nextInt(10);return new Tuple2<String, Long>(prefix + "_" + tuple._1, tuple._2);}});// 第二步，对打上随机前缀的key进行局部聚合。
JavaPairRDD<String, Long> localAggrRdd = randomPrefixRdd.reduceByKey(new Function2<Long, Long, Long>() {private static final long serialVersionUID = 1L;@Overridepublic Long call(Long v1, Long v2) throws Exception {return v1 + v2;}});// 第三步，去除RDD中每个key的随机前缀。
JavaPairRDD<Long, Long> removedRandomPrefixRdd = localAggrRdd.mapToPair(new PairFunction<Tuple2<String,Long>, Long, Long>() {private static final long serialVersionUID = 1L;@Overridepublic Tuple2<Long, Long> call(Tuple2<String, Long> tuple)throws Exception {long originalKey = Long.valueOf(tuple._1.split("_")[1]);return new Tuple2<Long, Long>(originalKey, tuple._2);}});// 第四步，对去除了随机前缀的RDD进行全局聚合。
JavaPairRDD<Long, Long> globalAggrRdd = removedRandomPrefixRdd.reduceByKey(new Function2<Long, Long, Long>() {private static final long serialVersionUID = 1L;@Overridepublic Long call(Long v1, Long v2) throws Exception {return v1 + v2;}});

两阶段聚合（局部聚合+全局聚合）相关推荐

spark 数据倾斜之两阶段聚合（局部聚合+全局聚合）
两阶段聚合(局部聚合+全局聚合) 方案适用场景: 对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用group by语句进行分组聚合时,比较适用这种方案. 方案 ...
Elasticsearch实战（十五）---查询query，filter过滤，结合aggs 进行局部/全局聚合统计
Elasticsearch实战-查询query,filter过滤,结合aggs 进行局部/全局聚合统计文章目录 Elasticsearch实战-查询query,filter过滤,结合aggs 进行局 ...
h3c 链路聚合测试_链路聚合技术
文/吴帅 1链路聚合概述链路聚合(Link Aggregation)由IEEE802.3ad定义,包括链路聚合目标及实现.聚合子层的功能及操作.链路聚合控制及LACP等.链路聚合将多条物理以太链路聚 ...
es的聚合mysql聚合速度_Elasticsearch(8) --- 聚合查询(Metric聚合)
摘要: quot;:0,"aggs":{"stats_salary":{"stats":{"field":"s ...
mysql 实时聚合分析_mysql滑动聚合/年初至今聚合原理与用法实例分析
本文实例讲述了mysql滑动聚合/年初至今聚合原理与用法.分享给大家供大家参考,具体如下: 滑动聚合是按顺序对滑动窗口范围内的数据进行聚合的操作.下累积聚合不同,滑动聚合并不是统计开始计算的位置到当前 ...
Elasticsearch聚合之 Date Histogram聚合
2019独角兽企业重金招聘Python工程师标准>>> Elasticsearch的聚合主要分成两大类:metric和bucket,2.0中新增了pipeline还没有研究.本篇还是 ...
（转）Elasticsearch 聚合查询、桶聚合、管道聚合及复合查询
转自: https://blog.csdn.net/zx711166/article/details/81906881 聚合查询聚合是一种基于查询条件对数据进行分桶.计算的方法. 聚合可以嵌套,由此 ...
Elasticsearch（三）——Es搜索（简单使用、全文查询、复合查询）、地理位置查询、特殊查询、聚合操作、桶聚合、管道聚合
Elasticsearch(三)--Es搜索(简单使用.全文查询.复合查询).地理位置查询.特殊查询.聚合操作.桶聚合.管道聚合一.Es搜索这里的 Es 数据博主自己上网找的,为了练习 Es 搜索 ...
链路聚合（二层链路聚合划分）
目录前言一.端口绑定技术二.实现条件三.链路聚合的分类四.二层交换机链路聚合划分实验总结前言前两章我们讲的是相同vlan和不同vlan之间的通信技术,今天要说的是链路聚合. 一.端口绑 ...

两阶段聚合（局部聚合+全局聚合）

两阶段聚合（局部聚合+全局聚合）相关推荐

最新文章

热门文章