mapreduce对日志数据上下行流量汇总

Mapreduce中的排序初步
4.1.1 需求
对日志数据中的上下行流量信息汇总，并输出按照总流量倒序排序的结果
数据如下：
1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 24 27 2481 24681 200
1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200
1363157991076 13926435656 20-10-7A-28-CC-0A:CMCC 120.196.100.99 2 4 132 1512 200
1363154400022 13926251106 5C-0E-8B-8B-B1-50:CMCC 120.197.40.4 4 0 240 0 200

4.1.2 分析
基本思路：实现自定义的bean来封装流量信息，并将bean作为map输出的key来传输

MR程序在处理数据的过程中会对数据排序(map输出的kv对传输到reduce之前，会排序)，排序的依据是map输出的key
所以，我们如果要实现自己需要的排序规则，则可以考虑将排序因素放到key中，让key实现接口：WritableComparable然后重写key的compareTo方法

4.1.3 实现
1、自定义的bean
public class FlowBean implements WritableComparable{

long upflow;
long downflow;
long sumflow;//如果空参构造函数被覆盖，一定要显示定义一下，否则在反序列时会抛异常
public FlowBean(){}public FlowBean(long upflow, long downflow) {super();this.upflow = upflow;this.downflow = downflow;this.sumflow = upflow + downflow;
}public long getSumflow() {return sumflow;
}public void setSumflow(long sumflow) {this.sumflow = sumflow;
}public long getUpflow() {return upflow;
}
public void setUpflow(long upflow) {this.upflow = upflow;
}
public long getDownflow() {return downflow;
}
public void setDownflow(long downflow) {this.downflow = downflow;
}//序列化，将对象的字段信息写入输出流
@Override
public void write(DataOutput out) throws IOException {out.writeLong(upflow);out.writeLong(downflow);out.writeLong(sumflow);}//反序列化，从输入流中读取各个字段信息
@Override
public void readFields(DataInput in) throws IOException {upflow = in.readLong();downflow = in.readLong();sumflow = in.readLong();}@Override
public String toString() {return upflow + "\t" + downflow + "\t" + sumflow;
}
@Override
public int compareTo(FlowBean o) {//自定义倒序比较规则return sumflow > o.getSumflow() ? -1:1;
}

}

2、 mapper 和 reducer
public class FlowCount {

static class FlowCountMapper extends Mapper<LongWritable, Text, FlowBean,Text > {@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {String line = value.toString();String[] fields = line.split("\t");try {String phonenbr = fields[0];long upflow = Long.parseLong(fields[1]);long dflow = Long.parseLong(fields[2]);FlowBean flowBean = new FlowBean(upflow, dflow);context.write(flowBean,new Text(phonenbr));} catch (Exception e) {e.printStackTrace();}}}static class FlowCountReducer extends Reducer<FlowBean,Text,Text, FlowBean> {@Overrideprotected void reduce(FlowBean bean, Iterable<Text> phonenbr, Context context) throws IOException, InterruptedException {Text phoneNbr = phonenbr.iterator().next();context.write(phoneNbr, bean);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();Job job = Job.getInstance(conf);job.setJarByClass(FlowCount.class);job.setMapperClass(FlowCountMapper.class);job.setReducerClass(FlowCountReducer.class);job.setMapOutputKeyClass(FlowBean.class);job.setMapOutputValueClass(Text.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(FlowBean.class);// job.setInputFormatClass(TextInputFormat.class);FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));job.waitForCompletion(true);}

}

mapreduce对日志数据上下行流量汇总相关推荐

Android 定时获取上下行流量数据
使用Service监听上下行流量数据老样子,直接上东西 public class FlowService extends Service {private long mCurrentUP=0;//当 ...
表格数据上下行互换位置
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...
ubantu 顶部显示上下行流量
ubantu 如何做到顶部显示上下行流量文章目录 ubantu 如何做到顶部显示上下行流量前言一.使用gnome插件二.使用步骤前言 `提示:类似与手机,我们上网可以开启自己的当前的实时 ...
利用MapReduce计算运营商上行下行流量
上行下行流量统计 package cn.itcast.bigdata.mr.flowsum;import java.io.IOException;import org.apache.hadoop.co ...
【华为ICT大赛】华为云激活设备的方法以及数据上下行
先展示一下没有激活的时候在线调试的状态然后下面我将激活他,让他变为下面这个样子官方教程这里我从0演示一个产品的创建到MQTT.fx连接到云平台并且接收数据. 进入华为云平台控制台然后开始创建一 ...
WIFI和数据上下行在状态栏同时出现
[功能说明]数据业务和wifi 共存是Google在Android8.1 上新增的特性. [功能路径]该功能默认开启,可通过如下路径更改状态:开发者选项->始终开启移动数据网络. [修改方案]如 ...
基于埋点日志数据的网络流量统计（网站总浏览量（PV）的统计）
衡量网站流量一个最简单的指标,就是网站的页面浏览量(Page View,PV).用户每次打开一个页面便记录1次PV,多次打开同一页面则浏览量累计. 一般来说,PV与来访者的数量成正比,但是PV并不直接 ...
利用交换机分开上下行流量
配置两台华为交换机,实现在拓扑中仅一个方向的流量通过LINUX网桥,PC-A(10.75.101.1)到PC-B(10.75.200.1)的流量经过LINUX网桥B,PC-B到PC-A的流量经过LIN ...
使用mapreduce进行流量汇总程序开发
现有文件关于流量文件内容如下 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 2 ...
MapReduce算法（计算每个相同IMSI（国际移动用户标识）、TAC（跟踪区域码）的上行流量和，下行流量和，总流量和）
需求: 计算每个相同IMSI(国际移动用户标识).TAC(跟踪区域码)的上行流量和,下行流量和,总流量和. 需求说明:将S1U数据里面的VOLUME字段(数据流量)和IMSI.TAC两个字段提取出来, ...

mapreduce对日志数据上下行流量汇总

mapreduce对日志数据上下行流量汇总相关推荐

最新文章

热门文章