Spark TopN

数据格式为：

http://python.cn/wei
http://python.cn/wei
http://java.cn/zhang
http://java.cn/zhang

package spark
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Teacher {def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("FavTeacher").setMaster("local[4]")val sc = new SparkContext(conf)val lines: RDD[String] = sc.textFile("D:\\code\\ip\\teacher.log")val teacherAndOne = lines.map(line => {val teacher = line.split("/").last //该句不是map的返回(teacher, 1) //map方法最后一句话是返回})val reduced: RDD[(String, Int)] = teacherAndOne.reduceByKey(_+_)//聚合val sorted: RDD[(String, Int)] = reduced.sortBy(_._2, false)//降序val reslut: Array[(String, Int)] = sorted.collect()//触发Action执行计算println(reslut.toBuffer)//打印sc.stop()}
}

Spark TopN相关推荐

HQL写topN、Spark写topN
HQL写topN用窗口函数rank() .row_number().dense_rank() 1.rank(),跳跃排序,假如第一第二相同,那么第三个就是3 select * from( select ...
SparkCore基础
目录 Spark简介 1 什么是Spark 2 Spark特点 3 Spark分布式环境安装 3.1 Spark HA的环境安装 3.2 动态增删一个worker节点到集群 4 Spark核心概念 5 ...
吐血整理50家企业真实大数据面试题！！学长实测，真实面试！！快收藏！
文章目录前言京东面试题 58面试题新浪面试题搜狐面试题 360面试题小米面试题顺丰面试题 OPPO面试题 VIVO面试题华为面试题 boss直聘面试题搜狗金融面试题瓜子二手车面试题 ...
数据算法 --hadoop/spark数据处理技巧 --（二次排序问题和TopN问题）
一.二次排序问题. MR/hadoop两种方案: 1.让reducer读取和缓存给个定键的所有值(例如,缓存到一个数组数据结构中,)然后对这些值完成一个reducer中排序.这种方法不具有可伸缩性,因 ...
Spark分组取TopN
前言说到分组,我们很快就想到group by,但是如果在分组的基础上进行取TopN,我们很快又想到开窗函数,group by一般和聚合函数搭配使用,那么聚合函数和开窗函数有啥区别呢? 普通的聚合函数 ...
Spark Core (TopN、mysql写入、读取文件通过RDD结合数据库中的表)练习3套
pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="h ...
Spark使用RDD实现分组topN(八种方法)
最近在复习Spark,记录一个使用RDD实现分组topN的方法,一共写了八种,其中有很多地方都是有共性的,我会在代码最后进行总结八种的思路,他们之间的共性以及每一种的优缺点. 以下是样例数据语文,赵 ...
[Spark的TopN算法实现]
一.TopN算法 MapReduce中的TopN算法是一个经典的算法,由于每个map都只是实现了本地的TopN算法,而假设map有M个,在归约的阶段只有M x N次运算,这个结果是可以接受的并不会造成 ...
《Spark商业案例与性能调优实战100课》第15课：商业案例之纯粹通过DataSet进行电商交互式分析系统中各种类型TopN分析实战详解
<Spark商业案例与性能调优实战100课>第15课:商业案例之纯粹通过DataSet进行电商交互式分析系统中各种类型TopN分析实战详解

Spark TopN

Spark TopN相关推荐

最新文章

热门文章