【机器学习PAI实践八】用机器学习算法评估学生考试成绩
(本文数据为实验用例)
一、背景
母亲是老师反而会对孩子的学习成绩造成不利影响?能上网的家庭,孩子通常能取得较好的成绩?影响孩子成绩的最大因素居然是母亲的学历?本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。
本文的数据采集于某中学在校生的家庭背景数据以及在校行为数据。通过逻辑回归算法生成离线模型和学业指标评估报告,并且可以对学生的期末成绩进行预测。
二、数据集介绍
数据集由25个特征和一个打标数据构成,
具体字段如下:
字段名 | 含义 | 类型 | 描述 |
---|---|---|---|
sex | 性别 | string | F是女,M表示男 |
address | 住址 | string | U表示城市,R表示乡村 |
famsize | 家庭成员数 | string | LE3表示少于三人,GT3多于三人 |
pstatus | 是否与父母住在一起 | string | T住在一起,A分开 |
medu | 母亲的文化水平 | string | 从0~4逐步增高 |
fedu | 父亲的文化水平 | string | 从0~4逐步增高 |
mjob | 母亲的工作 | string | 分为教师相关、健康相关、服务业 |
fjob | 父亲的工作 | string | 分为教师相关、健康相关、服务业 |
guardian | 学生的监管人 | string | mother,father or other |
traveltime | 从家到学校需要的时间 | double | 以分钟为单位 |
studytime | 每周学习时间 | double | 以小时为单位 |
failures | 挂科数 | double | 挂科次数 |
schoolsup | 是否有额外的学习辅助 | string | yes or no |
fumsup | 是否有家教 | string | yes or no |
paid | 是否有相关考试学科的辅助 | string | yes or no |
activities | 是否有课外兴趣班 | string | yes or no |
higher | 是否有向上求学意愿 | string | yes or no |
internet | 家里是否联网 | string | yes or no |
famrel | 家庭关系 | double | 从1~5表示关系从差到好 |
freetime | 课余时间量 | double | 从1~5从少到多 |
goout | 跟朋友出去玩的频率 | double | 从1~5从少到多 |
dalc | 日饮酒量 | double | 从1~5从少到多 |
walc | 周饮酒量 | double | 从1~5从少到多 |
health | 健康状况 | double | 从1~5从状态差到好 |
absences | 出勤量 | double | 0到93次 |
g3 | 期末成绩 | double | 20分制 |
数据截图:
三、离线训练
首先,实验流程图:
数据自上到下流入,先后经历了数据数据预处理、拆分、训练、预测与评估。
1.SQL脚本-数据预处理
select (case sex when 'F' then 1 else 0 end) as sex,
(case address when 'U' then 1 else 0 end) as address,
(case famsize when 'LE3' then 1 else 0 end) as famsize,
(case Pstatus when 'T' then 1 else 0 end) as Pstatus,
Medu,
Fedu,
(case Mjob when 'teacher' then 1 else 0 end) as Mjob,
(case Fjob when 'teacher' then 1 else 0 end) as Fjob,
(case guardian when 'mother' then 0 when 'father' then 1 else 2 end) as guardian,
traveltime,
studytime,
failures,
(case schoolsup when 'yes' then 1 else 0 end) as schoolsup,
(case fumsup when 'yes' then 1 else 0 end) as fumsup,
(case paid when 'yes' then 1 else 0 end) as paid,
(case activities when 'yes' then 1 else 0 end) as activities,
(case higher when 'yes' then 1 else 0 end) as higher,
(case internet when 'yes' then 1 else 0 end) as internet,
famrel,
freetime,
goout,
Dalc,
Walc,
health,
absences,
(case when G3>14 then 1 else 0 end) as finalScore
from ${t1};
这里SQL脚本主要处理的逻辑是将文本数据结构化。比如说源数据分别有yes和no的情况,我们可以通过0表示yes,1表示no将文本数据量化。一些多种类的文本型字段,比如说Mjob,我们可以结合业务场景来抽象,比如说如果工作是teacher就表示为1,不是teacher表示为0,抽象后这个特征的意义就是表示工作是否与教育相关。对于目标列,我们按照大于18分设为1,其它为0,拟在通过训练,找出可以预测分数的模型。
2.归一化
去量纲,将所有的字段都转换成0~1之间,去除字段间大小不均衡带来的影响。结果图:
3.拆分
将数据集按照8:2拆分,百分之八十用来训练模型,剩下的用来预测。
4.逻辑回归
通过逻辑回归算法训练生成离线模型。具体算法详情可以https://en.wikipedia.org/wiki/Logistic_regression
5.结果分析和评估
通过混淆矩阵可以查看模型预测的准确率。
可以看到预测准确率为82.911%。
根据逻辑回归算法的特性,我们可以通过模型系数挖掘出一些比较有意思的信息,首先查看模型:
根据逻辑回归算法的算法特性,权重越大表示特征对于结果的影响越大,权重是正数表示对结果1(期末高分)正相关,权重负数表示负相关。于是我们可以挑选几个权重较大的特征进行分析。
字段名 | 含义 | 权重 | 分析 |
---|---|---|---|
mjob | 母亲的工作 | -0.7998341777833717 | 母亲是老师对于孩子考高分是不利的 |
fjob | 父亲工作 | 1.422595764037065 | 如果父亲是老师,对于孩子取得好的成绩是非常有利的 |
internet | 家里是否联网 | 1.070938672974736 | 家里联网不但不会影响成绩,还会促进孩子的学习 |
medu | 母亲的文化水平 | 2.196219307541352 | 母亲的文化水平高低对于孩子的影响是最大的,母亲文化越高孩子学习越好。 |
以上结论只是从实验的很小的数据集得到的结论,仅供参考。
四、其它
作者微信公众号(与我联系):
【机器学习PAI实践八】用机器学习算法评估学生考试成绩相关推荐
- 【机器学习PAI实践五】机器学习眼中的《人民的名义》
一.背景 最近热播的反腐神剧"人民的名义"掀起来一波社会舆论的高潮,这部电视剧之所能得到广泛的关注,除了老戏骨们精湛的演技,整部剧出色的剧本也起到了关键的作用.笔者在平日追剧之余, ...
- 复制成绩表计算机专业的表结构,数据结构 数据结构与算法期末实验考试成绩表.doc...
数据结构 数据结构与算法期末实验考试成绩表.doc (2页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.90 积分 数据结构与算法期末实验考试成绩表 ...
- 【机器学习PAI实践十二】机器学习算法基于信用卡消费记录做信用评分
背景 如果你是做互联网金融的,那么一定听说过评分卡.评分卡是信用风险评估领域常用的建模方法,评分卡并不简单对应于某一种机器学习算法,而是一种通用的建模框架,将原始数据通过分箱后进行特征工程变换,继而应 ...
- 【机器学习PAI实践十二】机器学习实现男女声音识别分类(含语音特征提取数据和代码)
背景 随着人工智能的算法发展,对于非结构化数据的处理能力越来越受到重视,这里面的关键一环就是语音数据的处理.目前,许多关于语音识别的应用案例已经影响着我们的生活,例如一些智能音箱中利用语音发送指令,一 ...
- 【机器学习PAI实践九】如何通过机器学习实现云端实时心脏状况监测
背景 我们通过之前的案例已经为大家介绍了如何通过常规的体检数据预测心脏病的发生,请见http://blog.csdn.net/buptgshengod/article/details/53609878 ...
- 【机器学习PAI实践七】文本分析算法实现新闻自动分类
一.背景 新闻分类是文本挖掘领域较为常见的场景.目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式,消耗了大量的人力资源.本文尝试通过智能的文本挖掘算法对于新闻文本进行分类.无需任 ...
- 【机器学习PAI实践六】金融贷款发放预测
一.背景 很多农民因为缺乏资金,在每年耕种前会向相关机构申请贷款来购买种地需要的物资,等丰收之后偿还.农业贷款发放问题是一个典型的数据挖掘问题.贷款发放人通过往年的数据,包括贷款人的年收入.种植的作物 ...
- 【机器学习PAI实践三】雾霾成因分析
一.背景 如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选.如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害.本文通 ...
- 【机器学习PAI实践一】搭建心脏病预测案例
产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2 一.背景 心脏病是人类健康的头号杀手.全世界1 ...
最新文章
- 到2030年,人工智能会发展成什么样?
- BGP基本实验拓扑图--《献给学习的人》
- FPGA之道(32)Verilog基本程序框架
- Ooui:在浏览器中运行.NET应用
- JPA(三)之实体关系一对多(多对一)
- iis 中后台调用exe文件
- 依赖注入容器 Castle windsor的使用
- 当你在浏览器输入一个网址,如http://www.taobao.com,按回车之后发生了什么?请从技术的角度描述,如浏览器、网络(UDP、TCP、HTTP等),以及服务器等各种参与对象上由此引发的一系
- 怎么调安卓软件的dpi_无线鼠标怎么选、性价比高的罗技鼠标(M系列)推荐
- 网页下载CAB文件总结
- 手把手教你申请Coursera的课程助学金
- 用caffe训练测试自己的图片
- 在个人机上发布web项目
- 多边形面积的求法(已知每个点的坐标)hdu2036
- 解决vscode中getch()函数报错。C语言。getch()的头文件。
- 对有效性的认识(卓有成效的管理者)
- 通过top查看程序cpu使用率为什么会超过100%
- 无主3局域网找不到服务器,无主之地3局域网模式设置方法攻略 无主之地3局域网怎么用...
- 【清橙 A1206】小Z的袜子(莫队算法)
- 【记录】游戏体验报告怎么写(自我成长篇)
热门文章
- Leetcode255用队列构造栈
- 简单选择排序 c代码
- android 事件管理器,Android输入管理InputManager之读一次事件的流程
- crontab 半小时_?用猫粮诱惑,7名消防员花半小时救出困在夹墙间的喵星人
- 通用makefile
- 单片微型计算机与一般微型计算机相比,单片机习题与思考题.doc
- java和python都要掌握_如果两者都决定要学的话,先学Java还是Python?
- 公安网安装mysql 5.7_安装Mysql 5.7.1
- web项目打包到上线教程_手把手教你在 IntelliJ IDEA 中部署 Web 项目
- 借助联合体union的特性实现检测当前计算机环境采用的是大端模式还是小端模式