基于在线学习行为的评价模型的设计与实现

1.评估模型的需求分析

学习评价是学习者在学习过程中非常重要的部分，但因为在线学习和传统学习方式在学习环境、方式上的区别，所以在传统方式中的评价模式不太适用于在线学习。因此，在当代，伴随着计算机技术与互联网技术高速发展的在线学习的发展，构建出一套针对在线学习实际情况对学习行为分析与评价体系非常重要。在线学习分析的评价模型主要是对学生的在线学习行为进行一个分析和评价，主要的作用和意义如下：

（1）掌握学生在线学习情况

区别于传统的面对面授课方式，在线学习除了增加教学的灵活性和普遍性之外，对学生学习的自觉性也提出了极高的要求。老师缺少对学生学习情况的了解渠道，通过评价模型挖掘出学生在线学习行为与学习效果之间的联系，便于老师调整教学方法。

（2）指导学生自主学习

学生在在线学习平台上的学习行为的自主性非常高。在线学习的学习行为主要依靠学生自学完成。通过评价模型，学生可以清晰地认识到自己学习上的不足是哪方面，并针对相关情况进行改善。

（3）增强学习效果

现代的远程教育主要是学生通过完成在线课堂的任务来完成学习行为，为了增强学习者的在线学习的主动性和积极性，需要让学习者了解到自己目前的学习行为可能会导致一个什么结果。同时，对学生在线学习行为的分析，可以较为清楚地看到教学中采用的诸如资料、多媒体资源等使用效果，从而能进一步增强学习效果。

2.用户画像设计

2.1 基于在线学习行为分析的用户画像模型设计

从参与学习的学生角度来说，影响到对学生学习行为的整体评价的因素主要包括学习态度、学习时间管理、学习效率、学习动力、交流协作、学习过程、学习效果等。本文设计的用户画像的标签体系主要采用了学习态度、学习效率、交流协作、以及学习效果四个内容作为一级标签。学习态度是否积极对学生的后续学习行为影响很大，同时也是评价学生学习行为的重要指标。在线行为评价体系中，学习效果也非常重要，因为是侧面反映了学习行为的一个指标。资源利用一定程度上说明了学生的自主学习能力。因此，学习者的学习效果也是重要的评价指标。本文设计的用户画像标签体系及对应的数据指标如表2.1。

表2.1 在线学习行为用户画像标签体系及数据指标

一级标签	二级标签
学习态度	登录在线学习平台的次数在线学习的总时间课程完成程度平均学习时间间隔作业完成率
学习效率	平均学习速度每门课程的学习时间每个模块学习所用时间
交流协作	答疑提问课程反馈在线讨论
资源利用	上传资源下载资源在线平台内资源浏览次数
学习效果	作业成绩测试成绩小测验平均成绩

学习态度下有五个二级标签，登录在线学习平台的次数指的是学生登录在线平台进行有效学习的次数，在线学习的总时间包括了学生在线进行课程学习、资源浏览、完成作业、测试、考试等的学习行为的总时间；课程完成程度是指用户在确认结束课程学习时，课程完成的百分比。平均学习时间间隔是指学生登录在线学习平台相隔时间的平均值；作业完成率指用户提交作业的次数与课程布置的总作业次数之比。学习效率下有三个二级标签，平均学习速度是学生每次登录平台时每小时浏览课程页数的平均值，每门课程学习的时间指从开始课程到结束课程总共花费的小时数。资源利用指的是在线学习平台上有一些可供学生下载的资源，从学生的下载资源的数目可以侧面反映他们在线学习的积极性。学习效果指平时的作业成绩、测试成绩，这些成绩指标一定程度上反映了学习者的学习效果。

2.2 基于上海远程开放大学微课堂在线学习行为分析的用户画像设计

本文的基于在线学习行为分析的评价模型的数据来源于上海远程开放大学微课堂的用户的学习行为数据。根据对数据的整理分析，共整理出812份上海远程开放大学在线微课堂的微信在教育中的应用这一课程的有效数据。本文针对上海远程开放大学微课堂的微信在教育中的应用这一课程，结合现有数据中的资源，选取表2.1中的一级标签学习态度、学习效率、学习效果、交流协作，且在各个一级标签体系下选取了合适的二级标签，即课程完成程度、作业完成率、课程反馈、小测验平均成绩、平均学习速度，共计四个一级标签和五个二级标签。通过这些标签设计出的上海远程开放大学的在线学习的用户画像标签体系如表2.2所示。

表2.2 上海远程开放大学评价模型用户画像标签体系

一级标签	二级标签
学习态度	课程完成程度作业完成率
交流协作	课程反馈
学习效果	小测验平均成绩
学习效率	平均学习速度

3 CART决策树在基于在线学习行为的用户画像评价模型里的应用

3.1 数据预处理

根据表2.2，从上海远程开放大学的后台数据库中挖掘到了学生在微信在教学中的应用这一课程的学号、课程完成程度、学生完成作业率、用户针对这一课程的评论、平均学习速度及考试效果及学生最终得到的总成绩等数据。经过去掉无效值、缺失值等处理后，得到有效样本数812份。部分样本数据如表3.1。

表3.1 样本数据

学号	课程完成程度	学习速度	小测验平均成绩	作业完成率	评论次数	预期输出
6018962	60	177	60	70%	4	60
6018963	80	57	100	90%	0	84
6018964	100	228	80	80%	1	96
6018965	100	74	50	90%	1	90
6018966	80	85	50	70%	15	58
6018967	100	250	90	100%	4	98
6018968	80	28	80	70%	1	80
6018969	100	33	90	100%	1	98
6018970	100	242	100	90%	4	100
6018972	100	58	70	60%	0	94
6018974	100	119	70	70%	2	94
6018975	60	125	70	70%	5	62
6018977	80	127	50	60%	1	74
6018979	80	61	50	70%	0	74
6018981	100	150	70	100%	1	94
6018982	100	135	50	100%	0	90
6018983	100	110	50	100%	0	90
6018985	100	38	80	90%	2	96
……	……	……	……	……	……	……

因为预期输出是连续数值，CART决策树最终是形成判别进行分类。因此要将目标值进行离散化。因为最终成绩是百分制，因此将预期输出值分为五个区间,从高至低分为优、良、中、及格、不及格，优对应[90,100]区间，良对应[80,90)区间，中对应[70，80）区间，及格对应[60,70)区间，不及格对应[0,60)区间。为方便判别，将优、良、中、及格、不及格分别用5、4、3、2、1代表类别。经过处理后的数据如表3.2。

表3.2 预处理过后的样本数据

学号	课程完成程度	学习速度	小测验平均成绩	作业完成率	评论次数	预期输出
6018962	60	177	60	70%	4	2
6018963	80	57	100	90%	0	4
6018964	100	228	80	80%	1	5
6018965	100	74	50	90%	1	5
6018966	80	85	50	70%	15	1
6018967	100	250	90	100%	4	5
6018968	80	28	80	70%	1	4
6018969	100	33	90	100%	1	5
6018970	100	242	100	90%	4	5
6018972	100	58	70	60%	0	5
6018974	100	119	70	70%	2	5
6018975	60	125	70	70%	5	2
6018977	80	127	50	60%	1	3
6018979	80	61	50	70%	0	3
6018981	100	150	70	100%	1	5
6018982	100	135	50	100%	0	5
6018983	100	110	50	100%	0	5
6018985	100	38	80	90%	2	5
……	……	……	……	……	……	……

3.2 基于CART决策树的评价模型的构造与训练

因为需要处理的数据为连续值，而CART决策树算法适用于对连续值变量进行分类，因此本文选择了CART决策树算法。数据共有五个影响因素项和一个结果类项。本实验使用MATLAB2015b作为实验平台构建相关决策树，从812份样本数据中选取600份作为训练数据集来构造CART决策树。经过训练，构造出的决策树的规则如下：

A. 判断出为优的有以下四条规则：

规则1：课程完成程度>=90&&小测验平均成绩>=45&&学习速度<334.5

规则2：课程完成程度>=90&&45<=小测验平均成绩<95&&334.5<=学习速度<431.5&&评论次数<8

规则3：课程完成程度>=90&&小测验平均成绩<95&&441.5<=学习速度<500.5&&评论次数<8

规则4：课程完成程度>=90&&小测验平均成绩>=95&&334.5<=学习速度<506.5&&评论次数<8

B. 判断出为良的有以下两条规则：

规则5：70<=课程完成度<90&&小测验平均成绩>=75

规则6：课程完成程度>=90&&小测验平均成绩>45

C. 判断出为中的有一个规则：

规则7：70<=课程完成程度<90&&20<=小测验平均成绩<75

D. 判断为及格有三条规则：

规则8：50<=课程完成程度<70&&小测验平均成绩>=55

规则9：70<=课程完成程度<90&&小测验平均成绩<20

规则10：课程完成程度>=90&&小测验平均成绩>=45&&学习速度>506.5

E. 不及格有五条规则：

规则11：课程完成程度<50

规则12：50<=课程完成程度<70&&小测验平均成绩>=55

规则13：课程完成程度<90&&45<小测验平均成绩<70&&431.5<=学习速度<441.5&&评论次数<8

规则14：课程完成程度<90&&45<小测验平均成绩<70&&500.5<=学习速度<506.5&&评论次数<8

规则15：课程完成程度<90&&小测验平均成绩>=45&&334.5<=学习速度<506.5&&评论次数<8

3.3 模型准确性测试与评价

构造好决策树模型后，采用余下的212份样本数据进行测试，观察212份样本是否被正确分类了。测试的结果如下所示：

表3.3 模型正确率测试

测试样本被分类别	该分类样本数	原类别为优的数	原类别为良的数	原类别为中的数	原类别为及格的数	原类别为不及格的数	正确率
优	115	113	1	1	1	0	98.26%
良	53	3	49	0	1	0	92.45%
中	23	2	0	20	0	1	86.96%
及格	14	0	0	1	12	1	85.71%
不及格	7	0	0	0	1	6	85.71%
总计	212	117	50	22	15	8	89.82%

如表3.3所示，构造出的决策树模型中总的正确率为89.82%，这个评估结果说明通过CART算法构造出的决策树模型对未来数据样本的分类效果较好，正确率能够达到要求。同时，通过对决策树生成的规则进行总结分析，可以得知，课程完成程度这一指标对成绩的影响非常重要，所有成绩为优的学生都完成了对应课程的百分之九十，与之相反的是评论次数，评论次数对规则的形成影响很小，另一指标作业完成程度对规则行程几乎没有影响，经过对数据的重新整理，发现原始样本集中作业完成程度相对分布得比较平均，相差不是太多。

4 BP神经网络在基于在线学习行为的用户画像评价模型里的应用

4.1 数据预处理

本节使用的数据与表3.1中的数据一样，均为上海远程开放大学在线微课堂的微信在教学中的应用中的812份样本数据。与决策树不同的是，考虑到神经网络的初始化问题以及为了加快训练网络的收敛性，因此考虑对输入数据进行数据归一化。数据归一化的目的是将输入数据映射到对应的[0,1]区间或[-1,1]区间上，避免因数据量级不同造成对BP模型构建的影响。本文采用4.1式对数据进行数据归一化。

（4.1）

min为输入样本的特征属性中的最小值，max为中的最大值，是经过神经网络归一化处理后的值。又因为预期输出值为百分制，所以预期输出值直接除以100.处理过后的数据如表4.1所示。

表4.1 数据预处理后的样本集

学号	课程完成程度	平均学习速度	小测验平均成绩	作业完成率	评论次数	预期
6018962	0.33	0.32	0.56	0.57	0.18	0.6
6018963	0.67	0.08	1.00	0.86	0.00	0.84
6018964	1.00	0.42	0.78	0.71	0.05	0.96
6018965	1.00	0.11	0.44	0.86	0.05	0.9
6018966	0.67	0.14	0.44	0.57	0.68	0.58
6018967	1.00	0.46	0.89	1.00	0.18	0.98
6018968	0.67	0.02	0.78	0.57	0.05	0.8
6018969	1.00	0.03	0.89	1.00	0.05	0.98
6018970	1.00	0.45	1.00	0.86	0.18	1
6018972	1.00	0.08	0.67	0.43	0.00	0.94
6018974	1.00	0.20	0.67	0.57	0.09	0.94
6018975	0.33	0.22	0.67	0.57	0.23	0.62
6018977	0.67	0.22	0.44	0.43	0.05	0.74
6018979	0.67	0.09	0.44	0.57	0.00	0.74
6018981	1.00	0.27	0.67	1.00	0.05	0.94
6018982	1.00	0.24	0.44	1.00	0.00	0.9
6018983	1.00	0.19	0.44	1.00	0.00	0.9
6018985	1.00	0.04	0.78	0.86	0.09	0.96
6018986	0.33	0.18	0.89	0.29	0.00	0.66
……	……	……	……	……	……	……

将812份样本数据通过随机的方式分为两部分，其中600份为训练数据，用于训练网络。212份为测试数据，用于模型测试。

4.2 BP神经网络的评价模型的构建和训练

BP神经网络模型主要借助MATLAB语言编程实现。本文的实验平台是MATLAB 2015b。

A. BP神经网络的设计

a. 输入层节点数的定义

因为输入的属性共有五个，一般来说，输入节点数等于输入属性的个数，因此为5，期望的数出是一个分数的预期值，所以输出节点为1。

b. 隐层数及隐层节点数的定义

本文设计的BP神经网络一共三层，只有一层隐含层。隐含层节点数非常影响BP神经网络预测正确率。本文设计的BP神经网络模型的隐含层节点数参考下列公式：

（4.2）

式中，为输入层节点数；为隐含层节点数；为输出层节点数；为0~10之间的常数，则可计算出本模型可取的隐含层节点数为3~13。

为选择最合适的隐层节点数，取3~13之间的每一个整数值，设定误差值为0.01，迭代次数的上限为1000次。当训练收敛到误差值以内或达到迭代次数上限时，停止训练。观察收敛效果最好或达到收敛误差值时迭代次数最小。具体实验值如表4.2所示。

表4.2 隐含层节点数对应训练次数和误差表

节点数	3	4	5	6	7	8	9	10	11	12	13
收敛的误差（*10^-4）	187	3567	105	212	101.6	198	99.2	102.5	99.8	156	111
迭代次数	1000	1000	1000	1000	1000	1000	678	1000	986	1000	1000

因此，隐层节点数在数量为9时，收敛的误差和迭代次数最少。所以，隐层节点数选择9。

c. 传递函数的选择

为使输出层输出值限定在区间（0,1）内，所以输出层采用了logsig函数。同时，输入层到隐含层及隐含层到输出层均采用logsig函数。

d. 初始权值的选取

对BP神经网络而言，因为采用了极易陷入局部最小点的梯度算法，且误差曲面的有较多的局部最小点导致网络的初始权值不一样时，训练的结果也不同。为了阻止多次连续学习后部分权值会增长得不合理，所以一般会取（-1,1）的随机数。

e. 学习率值的选取

循环训练中每一次产生的权值的调整量都是由学习率决定的。学习率大则系统不稳定，小则导致训练时间长收敛慢。

f. 训练函数的选择

采用不同的训练函数，神经网络的收敛速度和收敛误差以及训练出的神经网络精度和性能都会有极大不同。设定误差为0.01，最大迭代值为2000，当训练次数达到迭代值上限或收敛误差达到预设误差时，训练停止。下面是采用不同的训练函数的误差值、迭代次数和迭代时长的比较。

表4.3 各训练函数对应的误差值迭代次数和迭代时长

	精度（收敛误差）	迭代次数	迭代时长/min
梯度下降法	0.0156	2000	26
带动量项的梯度下降法	0.00995	1789	12

由表4.3可知采用带动量项的梯度下降法作为训练算法最合适，迭代次数少，收敛得快。

B. BP神经网络的训练

经过训练后，将训练好的网络保存下来。

4.3 BP神经网络的评价模型的测试

用之前划分出的212份样本数作为测试集通过已经训练好的BP神经网络进行测试。因为BP神经网络的初始权值不同，导致最后得到的神经网络也不同。且测试集和训练集的划分为随机的。为测试本次设计的BP神经网络的误差均值，因此本文对BP神经网络进行了多次训练。对应的测试误差和正确率如表4.4所示。

表4.4 BP神经网络的预测正确率与误差值

训练的模型序号	实际输出与预期输出值绝对值误差>0.01的样本数	总测试样本数	误差率（%）	正确率（%）
1	27	212	12.74	87.26
2	58		27.36	72.64
3	36		16.98	83.02
4	47		22.17	77.83
5	38		17.92	82.07
6	25		11.79	88.21
7	21		9.91	90.09
8	36		16.98	83.02
9	16		7.55	92.45
10	31		14.62	85.38
平均值	33.5		15.80	84.20

可以看到平均正确率达到了84.20%，说明这一学习评价模型已相对成熟。然而从上表也可以看到，BP神经网络的稳定性不能保证，每次训练之后正确率相差较大。最高正确率与最低正确率相差了将近百分之二十。因此，是否要改进算法，要怎么改进算法才能提高预测的正确率和维持系统的稳定性是接下来要研究的方向。

5.CART算法与BP神经网络构造的在线学习行为评价模型适用度的验证

5.1 CART算法的评价模型适用度验证

为了测试基于两种算法构造的在线学习行为评价模型是否能够较好地投入使用，本文选取了采用同样的用户画像模型作为评价指标的上海远程开放大学在线微课堂的另外两门课的数据作为测试数据，分别是虚拟现实在教学中的应用的500份样本数据及移动学习的设计及其应用的500份样本数据。通过对这两门课的样本分类与预测，判断建立起的评价模型是否具有实用性。针对基于CART算法构造的评价模型的两门课的正确率如表5.1及表5.2所示。

表5.1 虚拟现实在教学中的应用的CART决策树分类正确率

测试样本被分类别	该分类样本数	原类别为优的数	原类别为良的数	原类别为中的数	原类别为及格的数	原类别为不及格的数	正确率
优	206	197	3	4	2	0	95.63%
良	147	4	138	3	1	1	93.88%
中	75	7	2	63	2	1	84%
及格	51	0	1	2	47	1	92.16%
不及格	21	0	1	1	3	16	76.19%
总计	500	208	145	73	55	19	88.37%

表5.2 移动学习的设计及其应用的CART决策树分类正确率

测试样本被分类别	该分类样本数	原类别为优的数	原类别为良的数	原类别为中的数	原类别为及格的数	原类别为不及格的数	正确率
优	167	156	3	5	2	1	93.41%
良	146	2	140	3	1	0	95.89%
中	102	2	0	91	7	2	89.21%
及格	54	0	2	3	46	3	85.18%
不及格	31	0	3	2	1	25	80.65%
总计	500	160	148	104	57	31	88.87%

可以看出，基于CART决策树算法构造的在线学习行为评价模型的评价模型的对这两门课程都完成了较好的预测和分类，正确率都在88%以上。证明基于CART算法构建的在线学习行为分析评价模型能够较好地完成对在线学习的用户的分类和预测，具备较好的适用性和实用性。

5.2 BP神经网络的评价模型适用度验证

同样使用5.1节中的数据对BP神经网络进行测试。选用误差率最小的BP神经网络进行测试。结果如表5.3所示。

表5.3 BP神经网络的适用性验证

测试集	样本数	输出值与预期值绝对值>0.01的样本数	误差率	正确率
虚拟现实在教学中的应用	500	197	39.40%	60.60%
移动学习的设计及其应用	500	212	42.40%	57.6%

可以看到，测试样本数集多了之后，BP神经网络模型的正确率下降了较大幅度，不能很好地完成对数据的预测，适用性不是太强，说明本文设计的使用BP神经网络算法构造的在线学习用户评价模型有较大缺陷。具体缺陷待以后研究讨论。

6 CART决策树与BP神经网络在在线学习行为评价模型中的优缺点比较

（1）从创建模型的难易程度而言，BP神经网络有以下缺点：需要的参数较多，包括网络的层数、每一层的神经元的个数和权值，但这些参数不能通过公式等确定，而是随机的。训练样本和学习率参数得到网络权值。隐含层神经元的个数如果太多，会引起神经网络过度学习造成过拟合的后果，太少则又导致欠拟合。学习率的选择也十分困难，过大的学习率会使得学习过程容易不稳定，然而过小又将延长训练时间。在不同的问题中，这些参数的合理值的取值还会变化。只能通过经验给出初略范围，导致算法很不稳定。同时，BP神经网络还容易陷入到局部最优，进入到局部最小值中。另外对样本的依赖性非常强。学习样本的典型密切性决定了网络模型的逼近和推广能力。算法的最终效果与样本有着非常密切的关系。如果样本集合分散，没有很强的代表性，样本中矛盾和冗余数据多，要想达到预期性能几乎不可能。而对于CART决策树而言，创建一个决策树模型只需要形成简单的IF…THEN…规则，不需要预先设计任何参数。唯一需要考虑到的问题是，决策树需要剪枝，剪枝后形成的决策树分类效果较好。同时决策树能比较直观地对各个特征属性的重要程度进行排序，并且对于高维数据的处理也十分高效，运算过程也十分迅速，预测准确率也相对理想。

（2）从模型的稳定性来说，在样本集真实有效的情况下，随机选择训练数据集构造出的决策树模型因为有剪枝，所以形成的决策规则变化很小，正确率也一直相对比较稳定。与之相反，BP神经网络构造出的模型受到初始权值、以及随机训练集的干扰，导致每次训练的学习次数、收敛误差等都会变动。测试时的正确率差别也十分明显，变动较大。

（3）从数据预测分类的结果来看，二者的正确率相差不大。但决策树的正确率相对比较稳定，而BP神经网络在训练的较好的网络中测试出的正确率高达92.45%，而相对训练得不好的网络则低至72.64%。

（4）从二者各自的特点来看，BP神经网络既能针对在线学习产生学习行为的用户根据设计好的用户画像对学习者的学习行为给出一个确定的分值，又能将用户划分至对应的成绩等级里。而决策树则在根据学习者的学习行为给出学习者一个预估成绩的同时，还能根据决策树的决策条件判断出用户可能存在的不足和做得好的地方，能够给学习者更详细更直接的反馈，有利于指导学习者，也方便学生调整自己的学习计划。

7 结论

（1）构建基于在线学习行为分析的用户画像模型除了需要根据实际情况及应用设计相符的用户画像标签体系，更重要的是要对数据进行挖掘，才能得出需要的信息，所以，使用合适的数据挖掘算法对构造出合理符合需求的模型非常重要。

（2）本文运用两种数据挖掘算法，分别是使用BP神经网络和CART决策树两种不同的算法来构造基于在线学习行为分析的评价模型，采用CART决策树的评价模型适用度较高，判别的正确率也比较高，使用决策树的评价模型，能够对学生的整体学习行为得到一个评估，方便学生得到一个对自己学习状况的评价并进而调整学习计划，也方便老师进行指导。采用BP神经网络的评价模型的输出是由输入及权重等因素决定的，所以该模型的预测精度和预测效果都与训练样本的的质量和数量有关。

（3）因为数据的限制，本文设计的基于在线学习行为分析的评价模型的用户画像设计的并不是十分全面，因此，设计出能更完整更详细的学习行为评价模型的用户画像非常重要，需要挖掘出更多的学生在线学习的行为特点的属性。

（4）本文采用的BP神经网络算法在在线学习的学习行为分析的评价模型的实际应用测试中误差较大，如何解决这一问题，如何改进BP神经网络算法使其误差率减小是将来需要研究的课题。

（5）深度学习对在线学习行为分析评价模型预测分类的精度等十分值得探究。