Spark2.4.8 求员工工资总额

一、测试数据
二、任务要求
三、编码实现
四、实验要求

一、测试数据

员工信息表：下载地址
表字段说明：

二、任务要求

任务1：求每个部门的员工工资总额
任务2：求每个部门员工工资与奖金总额
任务3：将任务2中的结果按照部门号进行升序排
任务4：将任务2中的结果按照工资总额进行降序排

三、编码实现

创建maven工程

添加spark相关依赖，在pom.xml中添加如下依赖

<packaging>jar</packaging><properties><scala.version>2.11.8</scala.version><spark.version>2.4.8</spark.version><spark.artifact.version>2.12</spark.artifact.version><hadoop.version>2.7.3</hadoop.version>
</properties><dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_${spark.artifact.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency><!-- 使用scala2.11.8进行编译和打包 --><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version></dependency>
</dependencies><build><!-- 指定scala源代码所在的目录 --><sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory><plugins><!--对src/main/java下的后缀名为.java的文件进行编译 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration></plugin><!-- scala的打包插件 --><plugin><groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><version>4.5.4</version><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>${scala.version}</scalaVersion></configuration></plugin></plugins>
</build>

【任务一】代码实现如下：

实现代码：

import org.apache.spark.{SparkConf, SparkContext}object CountSalary {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(CountSalary.getClass.getName).setMaster("local[2]")val sc = new SparkContext(sparkConf)sc.textFile("d:/Tools/emp.csv").map(line => {val strings = line.split(",")val salary = strings(5).toIntval deptNo = strings(7).toInt(deptNo,salary)}).reduceByKey(_+_).collect().foreach(println)// 关闭scsc.stop()}
}

结果：

【任务二】代码实现如下：

实现代码：

import org.apache.spark.{SparkConf, SparkContext}object CountBonusAndSalary {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(CountBonusAndSalary.getClass.getName).setMaster("local[2]")val sc = new SparkContext(sparkConf)sc.textFile("d:/Tools/emp.csv").map(line => {val strings = line.split(",")val salary = strings(5).toIntval deptNo = strings(7).toIntvar bonus = 0if (!"".equals(strings(6)) && null != strings(6)){bonus = strings(6).toInt}(deptNo,salary+bonus)}).reduceByKey(_+_).collect().foreach(println)// 关闭scsc.stop()}
}

结果如下：

【任务三】代码实现如下：

代码实现

import org.apache.spark.{SparkConf, SparkContext}object CountBonusAndSalaryByAsc {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(CountBonusAndSalaryByAsc.getClass.getName).setMaster("local[2]")val sc = new SparkContext(sparkConf)sc.textFile("d:/Tools/emp.csv").map(line => {val strings = line.split(",")val salary = strings(5).toIntval deptNo = strings(7).toIntvar bonus = 0if (!"".equals(strings(6)) && null != strings(6)){bonus = strings(6).toInt}(deptNo,salary+bonus)}).reduceByKey(_+_).sortByKey(true).collect().foreach(println)// 关闭scsc.stop()}
}

结果如下

【任务四】代码实现如下：

代码实现：

import org.apache.spark.{SparkConf, SparkContext}object CountTotalByAsc {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(CountTotalByAsc.getClass.getName).setMaster("local[2]")val sc = new SparkContext(sparkConf)sc.textFile("d:/Tools/emp.csv").map(line => {val strings = line.split(",")val salary = strings(5).toIntval deptNo = strings(7).toIntvar bonus = 0if (!"".equals(strings(6)) && null != strings(6)){bonus = strings(6).toInt}(deptNo,salary+bonus)}).reduceByKey(_+_).sortBy(tuple2 => {tuple2._2},false).collect().foreach(println)// 关闭scsc.stop()}
}

结果如下：

四、实验要求

请使用不同的算子来完成如上的任务

Spark2.4.8 求员工工资总额相关推荐

「Python语法结构」求员工的实际工资
求员工的实际工资功能要求某公司员工的工资由基本工资.物价津贴及房租津贴组成.其中物价津贴占基本工资的40%,房租津贴占基本工资的20%.编写一个程序从键盘上输入员工的基本工资,并根据输入的基本工资 ...
MapReducer——使用序列化求部门工资总额（4）
举例2:使用MapReduce序列化重写"求部门工资的总额的例子数据处理过程如图: 代码实现: EmpMapper.java package com.serializable.salary ...
数据库-5 求员工连续工作天数
之前遇到的一个需求,求公司员工连续工作天数. 大概的数据格式: 员工工号日期当天打卡时长 12345 20171201 8 12345 2017120 ...
c语言求员工的平均分数,用Ｃ语言编程平均分数
该楼层疑似违规已被系统折叠隐藏此楼查看此楼当个反面典型,让大家见识下丑陋无比的程序好了,主要是想练练打字,HOHO.应该用二维数组且全部函数化的,rand的%后面或是101或是100,可能和编译器 ...
JAVA求员工工资_员工工资问题（java）
import java.util.Scanner; public class Lq3 { public static void main(String args[]) { double a,b ...
数据结构与算法：求员工工资问题
问题是:若一个人第一个月的工资是1500,以后每一年的工资都在原基础上增加10%,那么第n年他的工资是多少?分别用递归和递推的方法编写算法. 这个问题没啥好说的了,直接代码见吧(此外,递推相当于迭代) ...
mysql员工表部门表_部门表 department 部门编号 dept_id 部门名称汇总表
有两张表部门表 department 部门编号 dept_id 部门名称 dept_mement create table department( dept_id tinyint auto_in ...

Spark2.4.8 求员工工资总额

Spark2.4.8 求员工工资总额

一、测试数据

二、任务要求

三、编码实现

四、实验要求

Spark2.4.8 求员工工资总额相关推荐

最新文章

热门文章