Deep Knowledge Tracking based on Attention Mechanism for Student Performance Prediction

写在前面：

这篇文章主要是首次将注意力机制与RNN相结合，提高了预测性能。

1 摘要

由于当今在线辅导系统的广泛应用，研究人员对使用在线辅导系统来提高学生的学习表现产生了浓厚的兴趣。研究人员可以使用深度知识跟踪方法，根据学生的历史学习记录对他们的学习表现进行建模，根据学生的学习表现向学生推荐学习资源，并制定个性化的学习策略。目前，一些利用练习文本信息进行深度知识追踪的研究并取得了较好的效果。但是这种方法需要依赖于完整的练习文本，会造成练习概念难以提取的问题，并且由于知识产权和隐私保护的原因，完整的练习文本难以获得。因此，在本研究中，我们使用少量的概念信息，结合注意力机制，提高深度知识跟踪，提升预测学生学习成绩的能力。实验结果表明，本文提出的方法在 AUC 和 ACC 上有一定的改进。

2 相关工作

习题更新：

获取数据集中的所有概念，从概念文本中提取关键词，并要求专家手动将相似关键词归为一类，并使用相似关键词更新所有概念，得到更新后的概念关键词，从而进行各个概念之间的相似度计算。

概念相似矩阵：

根据更新后的习题概念，利用式（1）计算各习题概念之间的jaccard相似度，得到相似度矩阵J：
J(A,B)=∣A∩B∣∣A∪B∣=∣A∩B∣∣A∣+∣B∣−∣A∪B∣(1)J(A,B)=\frac{|A\cap B|}{|A\cup B|}=\frac{|A\cap B|}{|A|+|B|-|A\cup B|} \tag{1} J(A,B)=∣A∪B∣∣A∩B∣=∣A∣+∣B∣−∣A∪B∣∣A∩B∣(1)

其中，j(m,n)j(m,n)j(m,n)代表习题m和n之间的相似度，J代表习题概念之间相似性形成的相似矩阵。

注意力向量：

根据学生在每个阶段练习的概念，计算当前概念与之前练习的每个概念的相似度。累积和就是这个阶段的注意力系数。每个阶段的注意力系数向量称为注意力向量。其计算公式如下：

LSTM：

本研究利用学生习题记录中的概念信息。首先对所有概念文本提取相似度关系，然后更新所有概念，根据更新后的概念计算相似度，得到概念的相似度矩阵。最后，利用学生的练习序列和概念的相似度矩阵计算每个学生对应的注意力向量。将得到的注意力向量与深度知识跟踪模型中的LSTM网络相结合，即在深度知识跟踪的基础上加入了注意力机制，可以更准确地把握学生在每个时间阶段的重要知识状态，有序更好地预测学生的学习表现。公式如下：
ht=tanh(Whxxt+Whhht−1+bh)(6)h_t=tanh(W_{hx}x_t+W_{hh}h_{t-1}+b_h)\tag{6} ht=tanh(Whxxt+Whhht−1+bh)(6)

yt=σ(Wyhht+by+At)(7)y_t=\sigma(W_{yh}h_t+b_y+A_t)\tag{7} yt=σ(Wyhht+by+At)(7)

其中是隐藏层的输出 hth_tht、输出层的权重矩阵 WhxW_{hx}Whx、输出层的偏置向量 byb_yby 、输出层的激活函数 σ()\sigma()σ()和注意力向量 AtA_tAt ，这些都不断更新有不同的学生输入记录。

数据集：ASSISTments 2009-2010

其他设置：

LSTM隐藏层设置为200，学习率0.4

模型评估：AUC和ACC

实验结果：

本文使用80%的数据集作为训练集来训练模型，20%的数据集作为测试集来测试模型的质量。结果如图1所示。从图1可以看出，与DKT相比，所提出的方法在ROC曲线下面积（AUC）和预测精度（ACC）上具有更好的性能。

最后：

虽然这篇文章篇幅段，内容简单，但其将注意力机制和RNN结合的方法还是很具有想法的。