大数据之-Hadoop3.x_MapReduce_二次排序案例---大数据之hadoop3.x工作笔记0116
前面我们已经利用MapReduce实现了,自定义的全排序,那么如果我们
想实现二次排序怎么做,先看看需求,
我们之前做的程序,第一次实现的是,把手机号一样的,上行流量,下行流量,总流量合计出来,
上一节我们用的全排序,是把所有手机号的,总流量倒序排了一下输出了,然后
这次,我们要二次排序,也就是如果我们判断了,总流量一样的话,我们再去按照,上行流量
正序去排序.
可以看到上面是上次我们输出的文件,可以看到,总流量都是240的时候,上行流量,他们分别是
240 120 240 是没有顺序的对吧,
我们希望,如果总流量一样,上行流量是正序的是:
120,240,240这样
其实很简单,还是去修改我们的实体类,可以看到,如果sumFlow一样,也就是this.sumFlow = o.sumFlow的时候,那么再去判断,upFlow对吧,可以看到上面,sumFlow一样,又按
大数据之-Hadoop3.x_MapReduce_二次排序案例---大数据之hadoop3.x工作笔记0116相关推荐
- 大数据_Flink_Java版_ProcessFunction(4)_应用案例_高低温分流---Flink工作笔记0069
我们使用侧输出流再来做一下那个高低温分流.这次我们使用 ProcessFunction来实现. 可以看到之前我们用split算子把一个流分成了多个流,然后这次我们利用ProcessFunction, ...
- 大数据之-Hadoop3.x_MapReduce_区内排序案例---大数据之hadoop3.x工作笔记0117
然后我们继续看,上一节,我们用二次排序,对,按照总流量倒序的基础上,如果总流量一样,我们 按照上行流量的升序又排序了一下,然后,这一次我们又有了新的需求,我们希望, 我们136开头的,放到一个分区文件 ...
- python处理表格数据-Python数据处理（二）：处理 Excel 数据
在本章和下一章里,我们将研究两种文件类型实例:Excel 文件和 PDF,并给出几条一般性说明,在遇到其他文件类型时可以参考. 处理 Excel 比上章讲的处理 CSV.JSON.XML 文件要难多了 ...
- 大数据之-Hadoop3.x_MapReduce_全排序案例---大数据之hadoop3.x工作笔记0115
然后我们来看一个全排序的案例,我们还是利用之前我们那个程序, 之前我们,有一堆的手机号,每个手机号,都有对应的,上行流量,下行流量,总流量,而且还有重复的手机号,我们就是把比如: 1356757585 ...
- 大数据之-Hadoop3.x_MapReduce_切片源码总结---大数据之hadoop3.x工作笔记0105
可以看到我们分析完,切片的源码,然后总结一下hadoop3.x的MapReduce的切片 过程 首先要知道切片这个过程是在InputFormat这个类中进行的 我们在InputFormat上按下ctr ...
- 大数据之-Hadoop3.x_MapReduce_切片源码分析---大数据之hadoop3.x工作笔记0104
然后我们开始来看看,切片的源码,看看到底是怎么切片的 然后我们继续调试,我们快速走就可以了,上节,已经调试一遍了. 然后进入job提交方法
- 大数据_Flink_数据处理_流处理API_Transform(2)_滚动聚合算子_keyBy_sum_min_max_minBy_maxBy---Flink工作笔记0030
然后我们前面看了基本的转换算子,然后我们再来看 数据聚合相关的算子. 我们可以在DataStream中查一下,可以看到,这个里面 竟然没有reduce这样的方法对吧,那怎么办,数据怎么进行聚合啊 我们 ...
- 大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后trans ...
- python读取数据文件、并把里面的数据变成x的二维坐标_（数据科学学习手札60）用Python实现WGS84、火星坐标系、百度坐标系、web墨卡托四种坐标相互转换...
importmathclassLngLatTransfer():def __init__(self): self.x_pi= 3.14159265358979324 * 3000.0 / 180.0s ...
最新文章
- 用python画梵高星空-谷歌AI:推进实例级别识别 (ILR)研究
- w10查询自己电脑ip
- 工业用微型计算机(6)-指令系统(3)
- 怎么批量修改html文件后缀,怎么批量修改文件后缀
- mysql 单机双实列_{ mysql } MySQL单机多实例及主从复制
- android unity 关闭应用_使用Android Studio在安卓平台Profile Unity应用
- Windows Server 2003群集配置手记(转载)
- 力扣题目系列：605. 种花问题
- 如何安装浏览器广告拦截屏蔽的插件？
- 如果大一光靠自己学，华为HICE能过的几率大吗？
- 华为手机怎么把计算机放到桌面,将华为手机投影到计算机屏幕
- 谷歌闹别扭期间女生创办“谷姐”网(cnblogs)
- Java 字符串处理
- 【Kaggle 教程】Data Visualization 数据可视化-画图-各种图
- 个人支付微信支付宝接口
- pdfmake支持html,pdfMake前端导出pdf
- Kubernetes 集群基于 Rook 搭建 Ceph 分布式存储系统
- Odoo11入门请假单模块学习教程源码
- WineBottler：让苹果Mac OS照样用IE浏览器
- 深入理解假设检验的两类错误和功效