MapReduce编程案例：求部门的工资总额

1、员工表

SQL：select deptno,sum(sal) from emp group by deptno;

2、分析数据处理的过程

3、开发程序

项目结构：

SalaryTotalMapper.java

package com.salarytotal;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class SalaryTotalMapper extends Mapper<LongWritable, Text, IntWritable,IntWritable> {@Overrideprotected void map(LongWritable k1, Text v1, Context context) throws IOException, InterruptedException {// 数据：7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30String data = v1.toString();//分词String[] words = data.split(",");//输出：k2 部门号   v2员工的工资context.write(new IntWritable(Integer.parseInt(words[7])),new IntWritable(Integer.parseInt(words[5])));}
}

SalaryTotalReducer.java

package com.salarytotal;import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;public class SalaryTotalReducer extends Reducer<IntWritable,IntWritable,IntWritable,IntWritable> {@Overrideprotected void reduce(IntWritable k3, Iterable<IntWritable> v3, Context context) throws IOException, InterruptedException {// 求v3求和int total = 0;for(IntWritable v:v3){total = total + v.get();}//输出  k4  部门号    v4是部门的工资总额context.write(k3, new IntWritable(total));}
}

SalaryTotalMain.java

package com.salarytotal;import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class SalaryTotalMain {public static void main(String[] args) throws Exception{// 1.创建任务、指定任务的入口Job job  = Job.getInstance();job.setJarByClass(SalaryTotalMain.class);// 2.指定任务的map和map输出的数据类型job.setMapperClass(SalaryTotalMapper.class);job.setMapOutputKeyClass(IntWritable.class);// k2job.setMapOutputValueClass(IntWritable.class);// v2// 3.指定任务的reducer和reducer输出的类型job.setReducerClass(SalaryTotalReducer.class);job.setOutputKeyClass(IntWritable.class);// k4job.setOutputValueClass(IntWritable.class);// v4// 4.指定任务输入路径和输出路径FileInputFormat.setInputPaths(job,new Path(args[0]));FileOutputFormat.setOutputPath(job,new Path(args[1]));// 5.执行任务job.waitForCompletion(true);}
}

将项目打包成jar文件，并运行

MapReducer——MapReduce编程案例：求部门的工资总额（2）相关推荐

【赵强老师】MapReduce编程案例之求工资总额
先看视频. [赵强老师]MapReduce编程案例之求工资总额 Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上, ...
大数据 - MapReduce编程案例 -BH3
MapReduce编程案例用mapreduce解决问题的关键是确定key,只有key相同的结果才会到同一个reduce中进行处理默认分区使用HashPartitoner,hashCode%redu ...
MapReduce编程(四) 求均值
一.问题描述三个文件中分别存储了学生的语文.数学和英语成绩,输出每个学生的平均分. 数据格式如下: Chinese.txt 张三 78 李四 89 王五 96 赵六 67 Math.txt 张三 8 ...
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例
一. 实验目的本实验考察学生Hadoop平台下的环境配置.分布式文件存储操作和管理以及基于Hadoop的分布式编程的设计与实现. 二. 实验环境 Linux的虚拟机环境.线上操作视频和实验指导手册 ...
MapReduce编程之求每个学生的最高成绩及对应科目（使用GroupingComparator和SortComparator）
stuscore.csv 1,鸿飞,语文,84 2,鹏海,语文,85 3,铭晨,语文,86 4,霑千昌,语文,87 5,智宇,语文,88 6,景彰,语文,89 7,辰铭,语文,90 8,曜灿,语文,9 ...
MapReduce编程之求每门科目的前三名（重写student类中的compareTo方法）
stuscore.csv 1,鸿飞,语文,84 2,鹏海,语文,85 3,铭晨,语文,86 4,霑千昌,语文,87 5,智宇,语文,88 6,景彰,语文,89 7,辰铭,语文,90 8,曜灿,语文,9 ...
MapReducer——使用序列化求部门工资总额（4）
举例2:使用MapReduce序列化重写"求部门工资的总额的例子数据处理过程如图: 代码实现: EmpMapper.java package com.serializable.salary ...
MR的案例：求每个部门的工资总额
MR的案例:求每个部门的工资总额 1.表:员工表emp SQL: select deptno,sum(sal) from emp group by deptno; DEPTNO SUM(SAL) ...
MapReduce经典案例总结
MapReduce经典案例总结首先得搭好hadoop环境,windows搭好单机环境 1.根据手机号统计上网流量,统计上行流量.下行流量和总流量数据如下,文件 flow.log,上传到hadoop ...

MapReducer——MapReduce编程案例：求部门的工资总额（2）

MapReduce编程案例：求部门的工资总额

1、员工表

2、分析数据处理的过程

3、开发程序

MapReducer——MapReduce编程案例：求部门的工资总额（2）相关推荐

最新文章

热门文章