MapReduce-流量统计求和-分区代码实现

需求三: 手机号码分区

在需求一的基础上，继续完善，将不同的手机号分到不同的数据文件的当中去，需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开

135 开头数据到一个分区文件
136 开头数据到一个分区文件
137 开头数据到一个分区文件
其他分区

自定义分区

package cn.learn.mapreduce_flowcount_partition;import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;public class FlowPartition extends Partitioner<Text,FlowBean> {@Overridepublic int getPartition(Text text, FlowBean flowBean, int i) {//判断手机号以哪个数字开头然后返回不同的分区编号if(text.toString().startsWith("135")){return  0;}else  if(text.toString().startsWith("136")){return  1;}else  if(text.toString().startsWith("137")){return  2;}else{return  3;}}
}

作业运行添加分区设置

job.setPartitionerClass(FlowPartition.class);

修改输入输出路径, 并放入集群运行

TextInputFormat.addInputPath(job,new
Path("hdfs://node01:8020/partition_flow/"));
TextOutputFormat.setOutputPath(job,new
Path("hdfs://node01:8020/partition_out"));

MapReduce-流量统计求和-分区代码实现相关推荐

网站流量分析,网站流量统计,不用插入代码直接在线免费查询网站流量
网站流量分析,网站流量统计,不用插入代码直接在线免费查询网站流量 http://www.jaeer.com/site/ 示例:
【MapReduce】实战：流量统计（完整Java代码）
[MapReduce]系列学习笔记: 第一部分:基本介绍第二部分:MapReduce的编程第三部分:MapReduce的分区第四部分:MaoReduce的排序第五部分:MapReduce实战: ...
使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计案例和流量总和以及流量排序案例，自定义Partitioner
工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc; import java.io.IOException ...
Mapreduce的序列化和流量统计程序开发
一.Hadoop数据序列化的数据类型 Java数据类型 => Hadoop数据类型 int IntWritable float FloatWritable long LongWritable d ...
MapReduce编程规范及实践（流量统计）
一.MapReduce编码规范 Map阶段2个步骤设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步自定义 Map 逻辑, 将第一步的结果转换成 ...
MapReduce-流量统计求和-FlowBean和Mapper代码编写
流量统计需求一: 统计求和统计每个手机号的上行流量总和,下行流量总和,上行总流量之和,下行总流量之和分析:以手机号码作为key值,上行流量,下行流量,上行总流量,下行总流量四个字段作为value值 ...
传奇开区网站如何添加流量统计代码
传奇开区网站如何添加流量统计代码的操作方法,在投入广告前添加流量统计代码,可以分析出发布站上人效果,下次投入广告就更有方向,毕竟开服广告成本确实挺高的,为了开好服,我们必须将每分钱都花在刀刃上! 网站 ...
几大知名流量统计网站的统计脚本中相继植入广告代码的现象，严重影响上网体验
近段时间浏览网页时总是实然网页开始播放视频的声音,一开始以为是宽带服务商又强制推送广告或电脑中毒了,经过对源代码的分析发现是流量统计代码中植入了广告代码,最近非常影响网页浏览体验的是百度统计插入的视频 ...
android tun0 流量统计,Android应用流量统计——NetworkStatsManager使用(示例代码)
在没有Root的情况下,Android应用流量统计在6.0之前一直没有太好的办法,官方虽然提供了TrafficStats,但其主要功能是设备启动以来流量的统计信息,和时间信息无法很好的配合.最近再看T ...

MapReduce-流量统计求和-分区代码实现

MapReduce-流量统计求和-分区代码实现相关推荐

最新文章

热门文章