Spark编程基础（林子雨）第四章实验

根据给定的实验数据，在pyspark中通过编程来计算以下内容

（1）该系一共多少名学生。

（2）该系共开设多少门课程

（3）Tom同学的总成绩平均分是多少。

（4）每名同学的选修的课程门数。

（5)该系DataBase课程共有多少人选修。

（6)各门课程的平均分是多少。

（7）使用累加计算共有多少人选修DataBase这门课。

参考：

（1)

(2)

(3)先导进去文件然后进行统计Tom的数据，并且输出

统计

（4）

（5）

x[1]表示从第二列取出数据。

（6）

（7）

二、编写独立数据去重。（参考）

对于两个文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。

如图，先在相关目录下建立所需要的txt文件

在同目录下建立一个C.py文件输入上面的代码。

完成后查看之前建立的两个文件

运行C.py文件

在之前建立的A和B的两个文件夹下生成一个文件result1，用cd进入查看，可看到生成一个文件part-00000，用cat查看即可。

三、编写独立的应用程序来实现求平均值的问题

在目录下建立三个题目中需要的txt文件，如下图所示

输入题目中所给的数据，以第一个Algorithm.txt为例

建立完成后，在同目录下建立一个Python文件，代码如下所示（仅供参考）

最后运行，会在目录下生成一个文件夹averge（本人虚拟机是这个），如下图所示。

题目中所需要的chapter4-data01文件，可以私我发；

Spark编程基础（林子雨）第四章实验相关推荐

spark编程基础python版 pdf_Spark编程基础Python版-第5章-Spark-SQL.pdf
<Spark编程基础(Python版)> 教材官网:/post/spark-python/ 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字第5章Spark SQL (P ...
Java基础学习——第十四章网络编程
Java基础学习--第十四章网络编程一.网络编程概述计算机网络: 把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规模大.功能强的网络系统,从而使众多的计算机可以方便地互相传递信 ...
《Java语言程序设计与数据结构》编程练习答案（第四章）（二）
<Java语言程序设计与数据结构>编程练习答案(第四章)(二) 英文名:Introduction to Java Programming and Data Structures, Comp ...
《Java语言程序设计与数据结构》编程练习答案（第四章）（一）
<Java语言程序设计与数据结构>编程练习答案(第四章)(一) 英文名:Introduction to Java Programming and Data Structures, Comp ...
jquery audio没有声音_Python实用案例编程入门：第十四章通过声音控制您的计算机
本章的主题为通过声音来控制您的电脑.当下的语音识别已经相对比较成熟,比如有的车载系统,或手机都支持语音识别,您可以通过声音来下达指令.比如您告诉导航系统"我要去北京",它会自动帮您 ...
spark编程基础python版实验报告_Spark编程基础（Python版）
章大数据技术概述 1.1 大数据概念与关键技术 1.1.1 大数据的概念 1.1.2 大数据关键技术 1.2 代表性大数据技术 1.2.1 Hadoop 1.2.2 Spark 1.2.3 Flin ...
鸟哥的Linux私房菜(基础篇)- 第二十四章、 X Window 配置介绍
第二十四章. X Window 配置介绍最近升级日期:2009/08/07 在 Linux 上头的图形介面我们称之为 X Window System,简称为 X 或 X11 罗!为何称之为系统呢?这 ...
《Python游戏编程快速上手》第四章-讲笑话
接着昨天的文章,今天实现<Python游戏编程快速上手>的第四章–讲笑话.这个小游戏的实现非常之简单.所以我就不说什么了,直接上代码 print("What do you get ...
Spark编程基础-（二）Scala语言基础
1. Scala语言概述 1.1 计算机的起源阿隆佐邱奇设计了演算的系统,形式系统. 阿兰图灵提出图灵机. 冯诺依曼是计算机体系结构的奠基者.1945年提出计算机体系结构. 图1 冯诺依曼体系结构 ...
鸟哥的Linux私房菜(基础篇)- 第十四章、Linux 账号管理与 ACL 权限配置
第十四章.Linux账号管理与 ACL 权限配置最近升级日期:2009/09/09 要登陆 Linux 系统一定要有账号与口令才行,否则怎么登陆,您说是吧?不过,不同的使用者应该要拥有不同的权限才行 ...

Spark编程基础（林子雨）第四章实验

Spark编程基础（林子雨）第四章实验相关推荐

最新文章

热门文章