spark 应用场景2-身高统计

原文引自：http://blog.csdn.net/fengzhimohan/article/details/78564610

a. 案例描述

本案例假设我们需要对某个省的人口 (10万) 性别还有身高进行统计，需要计算出男女人数，男性中的最高和最低身高，以及女性中的最高和最低身高。本案例中用到的源文件有以下格式, 三列分别是 ID，性别，身高 (cm)，格式如下：

b.人口数据的生成

利用Java语言随机生成一组人口数据，包括序列ID，性别M/F，身高cm，代码如下：

 1 import java.io.File;
 2 import java.io.FileWriter;
 3 import java.io.IOException;
 4 import java.util.Random;
 5
 6 /**
 7  * Created by Administrator on 2017/11/13.
 8  */
 9 public class PeopleInfoFileGenerator {
10     public static void main(String[] args){
11         File file = new File("F:\\PeopleInfo.txt");
12
13         try {
14             Random random = new Random();//生成随机数
15             FileWriter fileWriter = new FileWriter(file);//新建一个文件
16             for (int i=1;i<=1000000;i++){   //生成10万个数字
17                 int height = random.nextInt(220);
18                 if (height < 50) {
19                     height = height + 50;
20                 }
21              String  gender = getRandomGender(); //性别方法
22              if (height < 100 && gender == "M") {
23                  height = height + 100;
24              }
25               if (height < 100 && gender == "F") {
26                   height = height + 40;
27               }
28              fileWriter.write( i + " " + getRandomGender() + " " + height); //文件格式：ID 性别 身高
29              fileWriter.write(System.getProperty("line.separator"));
30             }
31             fileWriter.flush();
32             fileWriter.close();
33             System.out.println("People Information File generated successfully.");
34         }catch (IOException e){
35             e.printStackTrace();
36         }
37     }
38
39     public static String getRandomGender(){ //构建一个随机生成性别方法
40         Random random = new Random();
41         int randomNum = random.nextInt(2) + 1;
42         if( randomNum % 2 == 0){
43             return "M";
44         }else{
45             return "F";
46         }
47     }
48 }

c. 实例过程分析

对于这个案例，我们要分别统计男女的信息，那么很自然的想到首先需要对于男女信息从源文件的对应的 RDD 中进行分离，这样会产生两个新的 RDD，分别包含男女信息；其次是分别对男女信息对应的 RDD 的数据进行进一步映射，使其只包含身高数据，这样我们又得到两个 RDD，分别对应男性身高和女性身高；最后需要对这两个 RDD 进行排序，进而得到最高和最低的男性或女性身高。
第一步，先分离男女信息，使用 filter 算子过滤条件包含”M” 的行是男性，包含”F”的行是女性；第二步我们需要使用 map 算子把男女各自的身高数据从 RDD 中分离出来；第三步我们需要使用 sortBy 算子对男女身高数据进行排序。

特别注意：RDD 转化的过程中需要把身高数据转换成整数，否则 sortBy 算子会把它视为字符串，那么排序结果就会受到影响，例如身高数据如果是：123,110,84,72,100，那么升序排序结果将会是 100,110,123,72,84，显然这是不对的。

d.求出身高统计代码实现

 1 import org.apache.spark.SparkConf;
 2 import org.apache.spark.api.java.JavaRDD;
 3 import org.apache.spark.api.java.JavaSparkContext;
 4 import org.apache.spark.api.java.function.FlatMapFunction;
 5 import org.apache.spark.api.java.function.Function;
 6 import java.util.Arrays;
 7 /**
 8  * Created by Administrator on 2017/11/17.
 9  */
10 public class PeopleInfoCalculator {
11     public static void main(String[] args){
12         SparkConf sparkConf = new SparkConf().setAppName("PeopleInfoCalculator").setMaster("local[3]");
13         JavaSparkContext sc = new JavaSparkContext(sparkConf);
14         JavaRDD<String> dataFile = sc.textFile("F:\\PeopleInfo.txt");
15
16         JavaRDD<String> maleFilterData = dataFile.filter(new Function<String, Boolean>() {//过滤出性别为M的数据
17             @Override
18             public Boolean call(String s) throws Exception {
19                 return s.contains("M");
20             }
21         });
22         JavaRDD<String> femaleFilterData = dataFile.filter(new Function<String, Boolean>() {//过滤出性别为F的数据
23             @Override
24             public Boolean call(String s) throws Exception {
25                 return s.contains("F");
26             }
27         });
28         JavaRDD<String> maleHeightData = maleFilterData.flatMap(new FlatMapFunction<String, String>() {//得到性别为M的身高数据
29             @Override
30             public Iterable<String> call(String s) throws Exception {
31                 return Arrays.asList(s.split(" ")[2]);
32             }
33         });
34         JavaRDD<String> femaleHeightData = femaleFilterData.flatMap(new FlatMapFunction<String, String>() {//得到性别为F的身高数据
35             @Override
36             public Iterable<String> call(String s) throws Exception {
37                 return Arrays.asList(s.split(" ")[2]);
38             }
39         });
40         JavaRDD<Integer> maleHeightDataInt = maleHeightData.map(new Function<String, Integer>() {//将字符串格式转化为整型格式
41             @Override
42             public Integer call(String s) throws Exception {
43                 return Integer.parseInt(String.valueOf(s));
44             }
45         });
46         JavaRDD<Integer> femaleHeightDataInt = femaleHeightData.map(new Function<String, Integer>() {//将字符串格式转化为整型格式
47             @Override
48             public Integer call(String s) throws Exception {
49                 return Integer.parseInt(String.valueOf(s));
50             }
51         });
52         //sortBy(<T>,ascending,numPartitions) 解释:
53         //第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的；
54         //第二个参数是ascending，这参数决定排序后RDD中的元素是升序还是降序，默认是true，也就是升序；
55         //第三个参数是numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。
56         JavaRDD<Integer> maleHeightLowSort = maleHeightDataInt.sortBy(new Function<Integer,Integer>(){// true表示默认排序，为升序排序，从低到高排
57             public Integer call(Integer s) throws Exception {
58                 return s;
59             }
60         },true,3);
61         JavaRDD<Integer> femaleHeightLowSort = femaleHeightDataInt.sortBy(new Function<Integer,Integer>(){// true表示默认排序，为升序排序，从低到高排
62             public Integer call(Integer s) throws Exception {
63                 return s;
64             }
65         },true,3);
66         JavaRDD<Integer> maleHeightHightSort = maleHeightDataInt.sortBy(new Function<Integer,Integer>(){// false表示为降序排序，从高到低
67             public Integer call(Integer s) throws Exception {
68                 return s;
69             }
70         },false,3);
71         JavaRDD<Integer> femaleHeightHightSort = femaleHeightDataInt.sortBy(new         Function<Integer,Integer>(){// true表示默认排序，为降序排序，从低到高排
72             public Integer call(Integer s) throws Exception {
73                 return s;
74             }
75         },false,3);
76         Integer lowestMale = maleHeightLowSort.first(); //求出升序的第一个数，即最小值
77         Integer lowestFemale = femaleHeightLowSort.first();//求出升序的第一个数，即最小值
78         Integer highestMale = maleHeightHightSort.first();//求出降序的第一个数，即最大值
79         Integer highestFemale = femaleHeightHightSort.first();//求出降序的第一个数，即最大值
80
81         System.out.println("Number of Female Peole:" + femaleHeightData.count());//求出女性的总个数
82         System.out.println("Number of Male Peole:" + maleHeightData.count());//求出男性的总个数
83         System.out.println("Lowest Male:" + lowestMale);//求出男性最矮身高
84         System.out.println("Lowest Female:" + lowestFemale);//求出女性最矮身高
85         System.out.println("Highest Male:" + highestMale);//求出男性最高身高
86         System.out.println("Highest Female:" + highestFemale);//求出女性最高身高
87
88     }
89 }

e.运行结果：

转载于:https://www.cnblogs.com/jinggangshan/p/8109329.html

spark 应用场景2-身高统计相关推荐

Spark SQL使用window进行统计
在上一篇文章中,首先按照netType进行了统计,接下来添加一个条件,按照城市进行统计: def main(args: Array[String]): Unit = {val spark = Spar ...
Spark从本地文件中统计包含某个字母的行数
Spark从本地文件中统计包含某个字母的行数: import org.apache.spark.SparkConf; import org.apache.spark.sql.Dataset; impo ...
Spark学习笔记1——第一个Spark程序：单词数统计
Spark学习笔记1--第一个Spark程序:单词数统计笔记摘抄自 [美] Holden Karau 等著的<Spark快速大数据分析> 添加依赖通过 Maven 添加 Spark-c ...
spark java 计数_spark程序——统计包含字符a或者b的行数
本篇分析一个spark例子程序. 程序实现的功能是:分别统计包含字符a.b的行数. java源码如下: package sparkTest; import org.apache.spark.Spark ...
spark 相关性分析_基本统计 - correlations（相关性系数） - 《spark机器学习算法研究和源码分析》 - 书栈网 · BookStack...
相关性系数计算两个数据集的相关性是统计中的常用操作.在MLlib中提供了计算多个数据集两两相关的方法.目前支持的相关性方法有皮尔森(Pearson)相关和斯皮尔曼(Spearman)相关. Stat ...
转：Spark案例：Scala版统计单词个数
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/howard2005/article/d ...
【Spark入门项目】关键词统计
项目描述统计txt文件中出现频率前10的关键词,内如如下实现流程初始化spark配置通过textFile方法读取txt文件通过flatMap将RDD中的每一个元素调用split方法分词,sp ...
OPNET学习笔记(一)：创建一个小型局域网工程、场景并对比统计数据
OPNET学习笔记(一):创建一个小型局域网并对比统计数据前言 1.创建工程 2.配置场景 3.创建场景 4.选择统计量 5.结果显示 6.创建对比场景并对比 7.总结前言关于OPNET的安装教 ...
python写wordcount_Python开发Spark应用之Wordcount词频统计
一个早上只做了一点微小的工作,很忏愧.但是发现Spark这玩意还是蛮有意思的.下面给大家介绍一下如何用python跑一遍Wordcount的词频统计的示例程序. 在operator模块中导入add类f ...

spark 应用场景2-身高统计

spark 应用场景2-身高统计相关推荐

最新文章

热门文章