Learning from Interpretable Analysis:Attention-Based Knowledge Tracing
一篇短文
Learning from Interpretable Analysis: Attention-Based Knowledge Tracing | SpringerLink
International Conference on Artificial Intelligence in Education
摘要
知识追踪是个性化教育中一个公认的问题,也是一项重要的任务。近年来,人们提出了许多现有的工作来处理知识跟踪任务,特别是基于递归神经网络的方法,如深度知识跟踪(DKT)。然而,DKT在预测输出中存在振动问题。在本文中,为了更好地理解DKT的问题,我们使用了一个名为有限状态自动机(FSA)的数学计算模型,它可以根据外部输入从一种状态转换为另一种状态,以解释接收输入时DKT的隐藏状态转换。我们发现这两个问题的根本原因是DKT不能在FSA的帮助下处理长序列输入。因此,我们提出了一种有效的基于注意力的模型,它可以通过直接捕获输入的每个项目之间的关系来解决上述问题,而不管输入序列的长度如何。实验结果表明,在几个著名语料库上,我们提出的模型可以显著优于最新的方法。
引言
DKT在预测输出中仍然存在振动[9]。这是不合理的,因为学生的知识状态预计会随着时间逐渐过渡,但不会在掌握和尚未掌握之间交替。为了找出问题的根本原因,我们使用FSA作为一种可解释的结构,可以从DKT中学习到,因为FSA在处理顺序数据时具有更易于解释的内部机制[3]。我们参考[3]为DKT构建了一个FSA,以解释每个输入序列上的元素如何影响DKT的隐藏状态。当FSA接受输入项时,表示该项对模型的最终预测输出有积极影响,反之亦然。我们在图1中显示了每个输入序列的接受率。我们可以从图1中得出结论,输入序列越长,拒绝项目的比例越高,预测精度越低。这种现象与[7]中的描述一致,后者指出LSTM[2]在输入序列过长时具有捕获特征的弱点。因此,我们提出了一个模型来解决KT中的长序列输入问题,实验表明,我们提出的模型在解决上述问题方面是有效的。
贡献:是第一批采用FSA对KT任务进行深入分析的团队。通过使用FSA解释学习状态的变化,我们可以更好地理解现有基于RNN的方法的问题。其次,根据可解释性分析,我们提出了一个多头部注意模型来处理KT中的长序列输入问题。最后,我们在真实数据集上对我们的模型进行了评估,结果表明我们的模型改进了最新的基线。
模型
模型结构
- 嵌入层:包含问题和相应答案的元组首先被投影到实值向量中,即一个热嵌入。
- 特征提取:之后,向量被送入特征提取程序,其目的是捕获输入之间潜在的依赖关系。特征提取程序的主要组件由N个相同的块组成。每个块有两个子层。第一个是多头自我注意机制[8],是提取器的关键元件,第二个是完全连接的前馈网络[8]。自我注意通过使用标度点积注意计算输入序列中每个项目的相似性来实现全局关系的提取[8]。在这里,注意力被计算了h次,这使得模型能够在不同的代表子空间中学习相关信息,并使其成为所谓的多头模型。
- 预测和损失:在预测阶段,只有注意力子层的最顶层输出被带到Sigmoid函数中,以做出最终决策。预测和优化过程与[9]相同,我们在此不再赘述。
实验
思考
作者并没有花很多篇幅说明可解释性,只是说通过FSA对KT任务进行深入分析,发现了RNN的问题(长期依赖性),然后提出了个引入注意力的模型KTA(并没有什么新的东西)
Learning from Interpretable Analysis:Attention-Based Knowledge Tracing相关推荐
- 【论文解读 ICEIT2022】Heterogeneous Graph Based Knowledge Tracing基于异构图的知识追踪
文章目录 摘要 1 引言 2 相关工作 2.1 知识追踪 2.2 异构图嵌入 3 基于异构图嵌入的知识追踪 4 实验 5 结论 依然是两阶段 摘要 最近,随着在线辅导系统的发展,对知识追踪(Knowl ...
- Gated Mechanism for Attention Based Multi Modal Sentiment Analysis 阅读笔记
GATED MECHANISM FOR ATTENTION BASED MULTIMODAL SENTIMENT ANALYSIS 阅读笔记 最近在跟进多模态的情感分析发现多模态榜一又被刷下来了,这篇 ...
- Progressive Self-Supervised Attention Learning forAspect-Level Sentiment Analysis论文阅读
Progressive Self-Supervised Attention Learning forAspect-Level Sentiment Analysis翻译及理解 1.本文针对神经网络在学习 ...
- Option Tracing: Beyond Correctness Analysis in Knowledge Tracing
Option Tracing: Beyond Correctness Analysis in Knowledge Tracing 主要内容 Option Tracing: Beyond Correct ...
- attention机制中的注意力图怎么画_注意力机制 | 图卷积多跳注意力机制 | Direct multihop Attention based GNN...
导读:目前GNNs通过利用self-attention机制已经取得较好的效果.但目前的注意力机制都只是考虑到相连的节点,却不能利用到能提供图结构上下文信息的多跳邻居(multi-hop neighbo ...
- 【论文阅读】Attention Based Spatial-Temporal GCN...Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测](1)
[论文阅读]Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注 ...
- 【ACNET2019】:ATTENTION BASED NETWORK TO EXPLOIT COMPLEMENTARY FEATURES FOR RGBD SEMANTIC SEGMENTATION
ACNET: ATTENTION BASED NETWORK TO EXPLOIT COMPLEMENTARY FEATURES FOR RGBD SEMANTIC SEGMENTATION ACNE ...
- GIKT: A Graph-based Interaction Model for Knowledge Tracing
GIKT: A Graph-based Interaction Model for Knowledge Tracing 主要内容 GIKT: A Graph-based Interaction Mod ...
- Deep Knowledge Tracing with Transformers论文阅读
In book: Artificial Intelligence in Education (pp.252-256) 2020年6月 代码https://github.com/scott-pu-pen ...
最新文章
- KCF目标跟踪方法分析与总结
- oracle distinct用法
- java 匿名 异常_JAVA类(内部类、匿名内部类、异常、自定义异常)
- Android 事件分发,分发机制
- VARIANT变体类型数据
- C++设计模式-Decorator装饰模式
- 倪光南:中国 5G 有望成为世界第一
- ppt中流程图旁边怎么添加_辅食中的黑芝麻酱怎么添加呢?
- oracle服务端导出/导入方式expdp/impdp
- 中国蟹养殖和捕捞现状分析,淡水养殖产量占比最高「图」
- T400换风扇解决开机fan error问题
- ToLua 入门06_LuaCoroutine
- Yield Guild Games:播客专题
- 先少谈点人工智能好吗?
- 如何写一个简单的时钟表盘(qt)
- 使用windows时卸载office,后想恢复原来的office
- echarts.js 官网
- iOS--CFMessagePort实现进程间通信
- windows升级更新git
- LayaAir Laya.Handle.create