## *将以下学生成绩数据，存放在Hdfs上，使用Spark读取完成下面分析**

students.txt部分数据如下：
1500100001,施笑槐,22,女,文科六班
1500100002,吕金鹏,24,男,文科六班
1500100003,单乐蕊,22,女,理科六班
1500100004,葛德曜,24,男,理科三班
1500100005,宣谷芹,22,女,理科五班
score.txt部分数据如下：
1500100001,语文,98
1500100001,数学,5
1500100001,英语,137
1500100001,政治,29
1500100001,历史,85
cource.txt数据如下：
语文,150
数学,150
英语,150
政治,100
历史,100
地理,100
化学,100
生物,100
物理,100

学生表字段描述：学号,姓名,年龄,性别,班级
分数表字段描述：学号,科目名,分数
科目表字段描述：科目名,总分
使用spark-sql解决问题
分别建表：

create table students (id string,name string,age string,sex string,class string)
row format delimited fields terminated by ','  stored as textfile;


```bash
create table score (id string,sbjectname string,score string)
row format delimited fields terminated by ','  stored as textfile;

create table cource (sbjectname string,totalscore string)
row format delimited fields terminated by ','  stored as textfile;

数据上传到hdfs：

hadoop fs -mkdir /Spark_Data
hadoop fs -put cource.txt /Spark_Data
hadoop fs -put score.txt /Spark_Data
hadoop fs -put students.txt /Spark_Data

从hdfs导入数据：

load data inpath '/Spark_Data/students.txt' into table students;

load data inpath '/Spark_Data/score.txt' into table score;

load data inpath '/Spark_Data/cource.txt' into table cource;

使用Spark统计每个班级学生的人数

select class,count(*) from students group by class;

结果截图：

2、使用Spark sql统计每个班级总分排名前十的学生

select * from
(select class,name,sum(score) as ss,row_number() over(partition by class order by sum(score) desc) as rn
from score,students
where students.id = score.id
group by class,name) a
where a.rn < 11;

结果截图：

3、统计每科都及格的学生

select students.id,name,class,score.sbjectname,score from cource,score,students
where students.id = score.id and score>(totalscore * 0.6);

结果截图：

## *将以下学生成绩数据，存放在Hdfs上，使用Spark读取完成下面分析**相关推荐

已知有几个数据存放在BUF为首址的字节存储区中，试统计其中正数的个数，并将结果存入ZNUM单元中。
已知有几个数据存放在BUF为首址的字节存储区中,试统计其中正数的个数,并将结果存入ZNUM单元中. P160 例4.17 汇编思路:DATA段,定义BUF存储区,定义一下DB类型的数据,N为定义数据的 ...
python从大到小排序_python作业：用嵌套的列表存储学生成绩数据，并编程完成如下操作...
用嵌套的列表存储学生成绩数据,并编程完成如下操作: 学号姓名英语数学计算机 1903001 李孟亚 78 89 90 1903002 张钟英 51 89 56 ...
【Python 实战基础】如何绘制柱状图分析两个学生成绩数据
目录一.实战场景二.主要知识点文件读写基础语法字符串处理文件生成数据构建三.菜鸟实战 1.创建 python 文件 2.运行结果一.实战场景实战场景:如何绘制柱状图分析两个学生成绩 ...
【Python--数据结构分析】海伦一直使用在线交友网站寻找适合的交友对象，为了方便分析，她将交友数据存放在datingTestSet.csv文件中。
import numpy as np import pandas as pd from pandas import Series,DataFrame #1.创建50*7的DataFrame对象,数据为 ...
Python爬取的数据存为json文件，并读取
Python爬取的数据存为json文件,并读取 import requests import time from lxml import etree import jsondef json_data_ ...
基于MongoDB的学生成绩数据操作
MongoDB详细语法思维导图点击此处下载随着教育改革的多元化发展,学校考核方式正在变得越来越多元.这也造成传统的课程成绩数据库表的结果不再满足多元考核目标的设定. 学校准备引入noSQL数据库来存 ...
R语言定量方法：回归，虚拟变量和交互项，假设检验:F 检验、AIC 和 BIC分析学生成绩数据带自测题
最近我们被客户要求撰写关于学生成绩的研究报告,包括一些图形和统计输出. 回归假设省略变量偏差如果真实模型包括X 1 和X 2 ,但我们忘记了X 2,那么 - 在某些情况下 - 对X的估计将会有偏差 ...
R_Studio(学生成绩)数据相关性分析
对"Gary.csv"中的成绩数据进行统计量分析用cor函数来计算相关性,method默认参数是用pearson:并且遇到缺失值,use默认参数everything,结果会是NA ...
二维数组信号显示波形_LabVIEW编程：如何将数据存为电子表格文件，并读取进行波形显示...
问题引出在使用LabVIEW软件编写大型测试程序时,很多时候需要将原始采样数据或者分析处理后的数据在硬盘上存储为文件,而存储的格式可以是直观的普通的文本文件,也可以是占用空间小的二进制文件,除了这些 ...

## *将以下学生成绩数据，存放在Hdfs上，使用Spark读取完成下面分析**

## *将以下学生成绩数据，存放在Hdfs上，使用Spark读取完成下面分析**相关推荐

最新文章

热门文章