微观角度的可解释性，一个深度学习模型的可解释性是其内在的固有性质，指模型的决策在多大程度上可以被人类预测和理解。模型的可解释性越强，代表模型的行为对人类越透明，模型的不确定性也就越低；反之模型的可解释性越弱，模型做出预测的机制就不能被人类所理解，它的不可控性也越大

主动解释和事后解释两大类：主动解释为模型在做出预测的过程中可以同时生成相应的解释，如注意力显著性在网络前向传播时即可生成，自我可解释的网络会设计一些可解释单元。事后解释为在模型做出决策之后，通过一些算法来有效地揭示模型做出预测的原因

可解释深度知识追踪模型

刘坤佳-国防科技大学博士 2021年10月21月

引言

目前知识追踪存在的问题：

当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并且对于预测结果缺乏可解释性

当前深度知识追踪方法多针对习题对应的知识点建模,而忽视了题目本身蕴含的丰富信息．例如,考察同一知识点的不同题目可能由于难度设置不同而导致不同的作答结果．另外,目前的方法假设学生认知水平变化程度相同,忽视了学生认知状态与习题表示的个性化交互,因此无法建模学生知识状态变化的个体差异．再者,基于深度学习的方法预测过程和结果缺乏可解释性．在实际应用中,尤其是在线教育领域,可解释的预测结果不仅可以提升系统透明度,还能提高用户对系统的信任和对预测结果的接受程度．当前的研究对预测结果的可解释性多集中在为认知状态变化过程提供可视化展示,但是并未给出得到当前预测结果所依据的推理路径,因此不能直接为预测结果提供解释

解决方法

１)利用习题与知识点的上下文信息挖掘其间隐含关系,丰富习题知识点图关系类型,缓解数据稀疏问题;

２)基于用户认知状态学习个性化注意力权重,得到习题知识点关系图中用户对不同邻居节点的关注程度,充分考虑用户知识状态差异,实现习题个性化表示;

３)提供一种可解释框架,通过个性化注意力机制,在习题知识点关系图中选择推理路径,实现对知识追踪结果的可解释;

４)在多个知识追踪数据集上对提出的IDKT模型进行广泛验证,均取得最佳预测表现,有力验证了所提模型的有效

模型框架

如图４所示,IDKT 生成了２条推理路径:对照id的实际含义,就可以对所得推理路径进行解释．以推理路径１为例,模型预测用户未正确作答id为86623的习题可能因为其考察了id为280的知识点．而知识点280与知识点310相关,由此得出的解释路径是,用户在知识点310存在薄弱环节导致当前习题没有回答正确．通过以上过程,IDKT 将个性化注意力权值转化为推理路径,为结果提供可解释性．该解释可以指导用户找出学习过程的薄弱知识点,也可以为后续个性化学习资源推荐、智能问答等提供依据

展望

后续工作将主要研究引入更丰富上下文知识的方法,将习题知识点图扩展为有向带权图,以此有效刻画知识之间先修关系的方向性和节点之间的关联程度差别

Deep-IRT Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

解决问题：深度知识追踪模型其参数和表示长期以来一直被批评为无法解释。

Deep-IRT，它是项目响应理论 (IRT) 模型和基于称为动态键值记忆网络 (DKVMN) 的深度神经网络架构的知识追踪模型的综合，用于进行深度学习基于可解释的知识追踪。具体来说，我们使用 DKVMN 模型来处理学生的学习轨迹，并随着时间的推移估计项目难度水平和学生能力。然后，我们使用 IRT 模型使用估计的学生能力和项目难度来估计学生正确回答项目的概率。实验表明，Deep-IRT 模型保留了 DKVMN 模型的性能，同时提供了对学生和项目的直接心理解释。

引言

据我们所知，还没有一个模型是高度复杂和通用的，但同时可以解释。因此，设计一个继承这两个类别优点的模型是很有吸引力的。

本文提出深度项目反应理论(Deep- IRT来解释基于深度学习的知识追踪模型。Deep- IRT模型的灵感来自贝叶斯深度学习[17]学习模型和心理测量模型。具体来说Deep- IRT模型利用DKVMN模型来处理输入数据，并返回IRT模型的心理上有意义的参数。DKVMN模型执行特征工程工作，从学生的历史问答交互中提取潜在特征。然后，所提取的潜在特征被用于推断随着时间的推移每个KC的难度水平和学生能力。基于估计的学生能力和KC难度水平，IRT模型预测学生正确回答KC的概率。通过用DKVMN模型和IRT模型来描述知识追踪任务，我们从这两个模型中获得了优点。Deep- IRT模型受益于深度学习技术的进步，例如，捕捉人类难以设计的特征。另一方面，我们通过引入一个众所周知的心理测量模型来增强可解释性，这个模型很容易被许多人理解。

我们的实验表明，提出的Deep- IRT模型保留了DKVMN模型的性能。我们还通过Deep- IRT模型对难度水平和学生的学习能力进行了分析。分析表明，Deep- IRT模型估计的难度水平与其他传统方法一致，如IRT模型和项目分析[1]。然而，深IRT模型仍然存在DKT模型中发现的重建问题[20]。

我们的主要贡献总结如下:

提出的Deep- IRT知识追踪模型能够推断对学生能力和KCs难度水平的有意义的估计，同时保留了基于深度学习的知识追踪模型的预测能力。
Deep- IRT模型通过利用整个学习轨迹，而不是传统的教育测试环境，潜在地提供了一种估计KC难度水平的替代方法。
我们建议使用深度学习模型来输出心理测量模型的参数，以便利用深度学习能力并提供可解释的心理测量参数。除了知识追踪任务之外，这种思想还可以应用到其他地方。

模型

基于多层注意力网络的可解释认知追踪方法

华中师范大学

引言

贡献：

１)针对当前深度认知追踪模型对预测结果普遍缺乏可解释性或仅通过建模题目之间浅层关系提供解释的问题,提出了一种通过多层注意力网络挖掘题目多语义深层关联信息的方法,能够显著提升模型对预测结果的可解释性．

２)提出了评估认知追踪模型预测结果是否具有可解释性的基本思想,由此设计了提升模型可解释性的损失函数以及预测结果可解释性度量指标

模型

本文提出基于多层注意力网络的认知追踪模型,包含元素级、语义级和记录级３层注意力．图２展示了模型的整体框架,包括题目嵌入模块、知识检索模块和答题预测模块

可解释知识追踪（整理更新）相关推荐

可解释深度知识追踪模型-刘坤佳
1 摘要知识追踪任务通过建模用户的习题作答序列跟踪其认知状态,进而预测其下一时刻的答题情况,实现对用户知识掌握程度的智能评估．当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并 ...
IIS Web 服务器/ASP.NET 运行原理基本知识概念整理
前言: 记录 IIS 相关的笔记还是从公司笔试考核题开始的,问 Application Pool 与 AppDomain 的区别? 促使我对进程池进了知识的学习,所以记录一下学习的笔记. 我们知道现在 ...
基于图神经网络的知识追踪的五篇论文
本质上是预测回答的对错,是二元分类的预测问题 Context-Aware Attentive Knowledge Tracing 2020 <情境感知的注意力知识追踪>,注意力知识追踪,情 ...
《教育学原理》知识框架整理
<教育学原理>知识框架整理一.教育学概述 (一)教育学的概念:教育学是研究教育现象和教育问题,揭示教育规律的科学. (二)教育学的研究对象:教育学以教育现象.教育问题为其研究对象,通过对 ...
「可解释知识图谱推理」最新方法综述
来源:图灵人工智能近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法.模型及系统普遍缺乏决策的透明度和可解释性.在国防 ...
深度知识追踪(Deep Knowledge Tracing)·论文学习归纳
深度知识追踪(Deep Knowledge Tracing) 0 摘要在计算机支持的教育中,知识追踪(机器在学生与课程作业交互时对学生的知识进行建模)是一个公认的问题.虽然有效地对学生知识进行建模会 ...
2022年最新互联网大厂前端面试题及答案-前端工程必备技能(持续整理更新中【关注收藏不迷路】）
对于做前端的朋友,或者做了前端几年了,基础不好的,或者想进大厂的想了解深入,下面的知识点很多前端朋友都没有深入了解.很重要,看完有种茅塞顿开感觉,**关注+收藏哦,总有一天用的得.** 涉及到知识点: ...
通俗易懂解释知识图谱
通俗易懂解释知识图谱(Knowledge Graph) 1. 前言 2. 知识图谱定义 3. 数据类型和存储方式 4. 知识图谱的架构 4.1 逻辑架构 4.2 技术架构 5. 信息抽取 5.1 实体 ...
太赞了！《Python知识手册》更新到v2.2版
"种一棵树,最好的时间是十年前,其次是现在." 一.前言大家好,今天给大家推荐我的一位好朋友,公众号「Python数据之道」号主 Lemon . 从 2017 年开始,Lemon ...

可解释知识追踪（整理更新）