hadoop3-求分组topn

项目需求#求出每一个订单中成交金额最大的三笔

本质：求分组topn

#原始订单数据a.txt

----------------------------------------

订单号，用户id,商品名称,单价,数量
order001,u001,手机14,7999.8,2
order001,u001,手机13,6999.8,2
order001,u001,牛奶,79.2,1
order001,u001,大米,59.8,3
order002,u002,大米,69.9,1
order002,u002,香水,559.9,1
order002,u002,苹果,199.6,3
order002,u002,大米,59.8,3
order002,u002,冰箱,3959.8,1

--------------------------------------

思路：
map：读取数据切分字段，封装数据到一个bean中作为key传输，key要按照金额成交额比大小；
reduce：利用自定义的GroupingComparator将数据按订单id进行分组，然后在reduce方法中输出每组数据的前N条即可。

输出结果
----------------------------------------
order002,u002,冰箱,3959.8,1,3959.8
order002,u002,苹果,199.6,3,598.8
order002,u002,香水,559.9,1,559.9

hadoop3-求分组topn相关推荐

Spark使用RDD实现分组topN(八种方法)
最近在复习Spark,记录一个使用RDD实现分组topN的方法,一共写了八种,其中有很多地方都是有共性的,我会在代码最后进行总结八种的思路,他们之间的共性以及每一种的优缺点. 以下是样例数据语文,赵 ...
MySQL各部门求最值_mysql 求分组最大值的十个解法
mysql 求分组最大值的十个解法发布时间:2020-08-08 23:32:28 来源:51CTO 阅读:1383 作者:努力的C "How to solve the same prob ...
java mongo分组统计_mongodb 分组 topN
[摘要] MongoDB 对于 TopN 功能的需求使用其 shell 脚本来实现有些复杂,而集算器 SPL 语言,则因其离散性.灵活性恰好能弥补 MongoDB 实现方面的不足.若想了解更多,请前往 ...
3、流量分析--分组TopN统计
流量分析--分组TopN统计 ===================================================================================== ...
GroupingComparator分组（辅助排序）的作用以及通过GroupingComparator实现分组topN
mapreduce框架在记录到达reducer之前按照键值对记录排序,但是键所对应的值并没有排序.甚至在不同的执行轮次中,这些值的排序也不固定,因为他们来自不同的map任务且这些map任务在不同的轮次 ...
java group by_Java实现GroupBy/分组TopN功能
详情在Java 8 的Lambda(stream)之前,要在Java代码中实现相似SQL中的group by分组聚合功能,还是比较困难的.这之前Java对函数式编程支持不是很好,Scala则把函数式 ...
SQLServer游标简单应用(求分组最小值问题)
前面http://www.cnblogs.com/raymond19840709/archive/2008/02/26/1082377.html 也有提到相关的问题解决方法,但是不适用于解决以下此类的 ...
7.统计UV、分组TopN
有50w个京东店铺,每个顾客访问任何一个店铺的任何一个商品时都会产生一条访问日志,访问日志存储的表名为Visit,访客的用户id为user_id,被访问的店铺名称为shop,数据如下: 请统计: (1 ...
sql server求分组最大值，最小值，最大值对应时间，和最小值对应时间
先创建Students表 CREATE TABLE [dbo].[Students]( [Id] [int] IDENTITY(1,1) NOT NULL, [age] [int] NULL, [na ...

hadoop3-求分组topn

hadoop3-求分组topn相关推荐

最新文章

热门文章