可解释性机器学习( Explainable Artificial Intelligence (XAI) )文献阅读记录(1.1)
文章目录
- 论文标题：Explainable Artificial Intelligence (XAI): Concepts, taxonomies,opportunities and challenges toward responsible AI
- 1. Introduction 引言
- 2.可解释性：what,why,what for and how?
- 2.1 Terminology Clarification 术语澄清
- 2.2 What？（是什么）
- 2.3 Why?（为什么）
- 2.4 What for?（为了什么？）
- 2.5 How？（怎么做）
- 2.5.1 机器学习模型的透明度水平
- 2.5.2 机器学习模型的事后可解释性技术
- 3.透明的机器学习模型
- 3.1线性/逻辑回归
- 3.2 决策树
- 3.3 K近邻算法(KNN)
- 3.4 基于规则的学习
- 3.5 一般加性模型(GAM)
- 3.6 贝叶斯模型
- 4.机器学习模型的事后可解释性技术：分类法、浅层模型和深度学习
- 4.1 用于事后可解释性的模型无关技术
- 4.2 在浅层ML模型中的事后可解释性
- 4.2.1 集成树，随机森林和多个分类器系统
- 4.2.2 支持向量机
- 4.3 深度学习的可解释性
- 4.3.1 多层神经网络
论文标题：Explainable Artificial Intelligence (XAI): Concepts, taxonomies,opportunities and challenges toward responsible AI
第一次接触这个领域，有点在读哲学论文的感觉…
1. Introduction 引言
随着黑箱机器学习(ML)模型越来越多地用于在关键环境下做出重要的预测，AI[6]的各个利益相关者对透明度的需求越来越大。危险在于创建和使用决策是不合理的、合法的，或者根本不允许获得他们的行为的详细解释[7]。支持模型输出的解释是至关重要的，例如，在精确医学中，专家需要的来自模型的信息远比一个简单的二进制预测来支持他们的诊断[8]。其他的例子包括在交通、安全和金融方面的自动驾驶汽车等。
一般来说，考虑到对伦理人工智能[3]的需求不断增加，人类不愿采用不能直接解释、易于处理和值得信赖的[9]技术。人们惯常地认为，通过仅仅关注性能，这些系统将会越来越不透明。这是正确的，因为在模型的性能和透明度[10]之间存在一种权衡。然而，对系统理解的改进可能是导致纠正其缺陷的原因。在开发ML模型时，考虑将可解释性作为一个额外的设计驱动程序可以提高其可实现性，原因有3个：
- 可解释性有助于确保决策的公正性，即检测训练数据集中的偏差，从而产生纠正错误。
- 可解释性通过突出可能改变预测的潜在对抗性扰动，促进提供鲁棒性。
- 可解释性可以作为一种保险，只有有意义的变量才能推断出输出，即保证模型推理中存在潜在的真实因果关系。
图2. 图表显示了不同受众配置文件所寻求的ML模型中可解释性的不同目的。有两个目标贯穿其中：需要模型理解和法规遵从性。图片的部分灵感来自于[29]中展示的图片，并得到了IBM的许可。
剩余章节安排：
第2节：开始关于围绕人工智能中explainability和terminology的术语和概念的讨论，最后是上述可解释性的新定义（第2.1和2.2节），以及从XAI的角度对ML模型进行分类和分析的一般标准。
第3节和第4节：回顾了关于ML模型（分别是transparent models和post-hoc techniques）的XAI的最新发现，这些模型分别构成了上述分类法的主要部分。
第5节：讨论了方法族之间协同作用的好处和注意事项，其中我们提出了一般挑战的前景和一些需要谨慎对待的后果。
第6节：详细阐述了Responsible Artificial Intelligence的概念。
第7节：总结此次综述的结尾，旨在让社区参与这个充满活力的研究领域。
2.可解释性：what,why,what for and how?
在继续我们的文献研究之前，首先可以很方便地建立一个共同的理解点，即这个术语在人工智能，更具体地说，是ML中代表什么。这确实是本节的目的，即暂停对关于这一概念所做的许多定义（what？），争论为什么可解释性在人工智能和ML中是一个重要的问题(why？what for?)并介绍XAI方法的一般分类，这将推动以后的文献研究(how?)
2.1 Terminology Clarification 术语澄清
阻碍建立共同基础的问题之一是文献中对interpretability和explainability的可互换滥用。这些概念之间有显著的区别。首先，interpretability指的是模型的被动特征，指的是给定模型对人类观察者有意义的水平。此特性也被表示为透明度。相比之下，explainability可以被视为模型的一个主动特征，表示模型为了澄清或详细说明其内部功能而采取的任何行动或过程。
为了总结最常用的命名法，在本节中，我们阐明了伦理人工智能和XAI社区中常用的术语之间的区别和相似性。
- Understandability（或等价地，intelligibity）表示模型的特征，使人理解其功能模型如何工作——而不需要解释其内部结构或模型内部处理数据的算法方法。
- Comprehensibility：在ML模型中，Comprehensibility指的是学习算法以人类可理解的方式表示其所学习到的知识的能力[19-21]。模型Comprehensibility的概念源于米卡尔斯基[22]的假设，即“计算机归纳的结果应该是对给定实体的符号描述，在语义和结构上与人类专家观察相同实体可能产生的那些实体相似。”这些描述的组成部分应该作为单一的信息“块”来理解，可以直接用自然语言解释，并应该以一种综合的方式将定量和定性的概念联系起来。”由于其难以量化，可理解性通常与模型复杂度[17]的评估有关。
- Interpretability: 它被定义为用可理解的术语向人类解释或提供意义的能力。
- Explainability：Explainability与作为人类和决策者之间接口的explain的概念相关联，同时，它既是决策者的准确代表，又是人类可以理解的。
- Transparency: 如果模型本身是可以理解的，那么它就被认为是Transparency。 由于模型具有不同程度的可理解性，因此第 3 节中的透明模型分为三类：可模拟模型、可分解模型和算法透明模型。
在上述所有定义中，understandability是 XAI 中最重要的概念。transparency和interpretability都与这个概念密切相关：虽然透明度是指模型本身可以被人类理解的特征，但understandability衡量人类在一个模型中可以理解决策的程度。Comprehensibility还与understandability有关，因为它依赖于受众理解模型中包含的知识的能力。总而言之，understandability是一个两方面的问题：模型可理解性和人类可理解性。这就是为什么2.2节给出的XAI的定义提到audience（观众）的概念，因为模型的用户的认知技能和追求的目标必须与模型的intelligibility和comprehensibility一起考虑正在使用。understandability所扮演的重要角色使audience的概念成为 XAI 的基石，我们接下来将进一步详细阐述。
这一节也太难理解了。。。
2.2 What？（是什么）
虽然它可能被认为超出了本文的范围，但值得注意的是围绕哲学领域的一般解释理论进行的讨论 [23]。 在这方面已经提出了许多建议，表明需要一个近似于解释结构和意图的一般、统一的理论。 然而，在提出这样一个一般理论时，没有人经得起批评。 目前，最一致的思想融合了来自不同知识学科的不同解释方法。 在解决人工智能中的可解释性(interpretability)时发现了类似的问题。 从文献中可以看出，对于什么是interpretability或explainability，目前还没有一个共同的理解点。 然而，许多贡献声称实现了增强可解释性(explainability)的可解释(explainability)模型和技术。
为了阐明这种缺乏共识的情况，将参考文献的起点放在德·冈宁给出的术语**可解释人工智能(XAI)**的定义上可能是很有趣的：
“ XAI将创建一套机器学习技术，使人类用户能够理解、适当地信任和有效地管理新兴一代的人工智能合作伙伴。 ”
这个定义汇集了需要提前解决的两个概念（理解和信任）。然而，没有考虑其他需要可解释人工智能模型的目的，如因果关系、可转移性、信息性、公平性和机密性[5,24-26]。我们之后将探究这些问题，作为支持上述定义不完整性的一个例子。
正如上面的定义所示，对人工智能的可解释性(explainability)的彻底、完全的理解仍然从我们的手指上滑落。对这一定义进行更广泛的重新表述（例如，“一种可解释的人工智能是一种对其功能进行解释的人工智能”）将不能充分描述相关术语，而不考虑其目的等重要方面。为了建立在完整性之上，首先需要对解释(explaination)进行定义。
正如从《剑桥英语词典》中提取的那样，"explaination(解释)"是“某人说清楚或容易理解的细节或原因”[27]。在ML模型的上下文中，这可以改写为：“模型为使其功能清晰或容易理解而提供的细节或原因”。正是在此时，意见开始产生分歧。根据前面的定义，可以指出两个歧义。首先，用来解释的细节或原因，完全取决于它们呈现给的观众。第二，解释是否让概念清晰还是容易理解也完全取决于观众。因此，必须重新表述该定义，以明确地反映该模型的可解释性对观众的依赖性。为此，重新修改的定义可以理解为：
给定特定的观众(audience)，可解释性是指一个模型给出的使其清晰或易于理解的功能的细节和原因。
由于解释，作为论证，可能涉及加权、比较或说服观众与（反）论证的基于逻辑的形式化 [28]，可解释性可能会将我们带入认知心理学和解释心理学的领域 [7]， 因为衡量某件事是否已被理解或清楚地表达是一项难以客观衡量的艰巨任务。但是，衡量一个模型的内部结构在多大程度上可以被解释，也可以被客观地解决。任何降低模型复杂性或简化其输出的方法都应该被考虑为一种XAI方法。在复杂性或简单性方面，这个飞跃有多大，将对应于结果模型的可解释程度。仍未解决的一个潜在问题是，这样的XAI方法提供的可解释性收益可能不是直接量化：例如，模型简化可以评估基于减少架构元素的数量或参数模型本身的数量(通常，例如，DNNs)。相反，为了相同的目的而使用可视化方法或自然语言并不有利于对在可解释性方面所获得的改进进行明确的量化。推导评估XAI方法质量的一般指标仍然是一个开放的挑战，在未来几年应该成为该领域的焦点。我们将在第5节中进一步讨论这一研究方向。
可解释性与事后可解释性相关联，因为它涵盖了用于将不可解释模型转换为可解释模型的技术。在本文的其余部分中，可解释性将被视为主要的设计目标，因为它代表了一个更广泛的概念。一个模型是可以解释的，但是模型的可解释性来自于模型本身的设计。记住这些观察结果，可解释的人工智能可以定义如下：
对于一个观众，一个可解释的人工智能是一种能够产生细节或理由，使其功能清晰或容易理解的人工智能。
这个定义在这里作为本概述的第一个贡献，隐含地假设 XAI 技术针对手头模型的易理解性和清晰度可恢复到不同的应用目的，例如观众对模型输出的更好的可信度。
2.3 Why?（为什么）
如引言所述，可解释性是人工智能目前在实际实现方面面临的主要障碍之一。无法解释或完全理解最先进的 ML 算法表现如此出色的原因是一个问题，其根源在于两个不同的原因，如图 2 中的概念性说明。
毫无疑问，第一个原因是研究界和商业部门之间的差距，阻碍了最新的ML模型在传统上在数字化转型中落后的部门的全面渗透，如银行、金融、安全和健康等。一般来说，这一问题发生在受严格管制的部门，有些人不愿实施可能使其资产面临风险的技术。
第二个轴是知识轴。 人工智能已经帮助世界各地的研究推断出远远超出人类认知范围的关系。 处理大量可靠数据的每个领域都在很大程度上受益于人工智能和机器学习技术的采用。 然而，我们正在进入一个时代，在这个时代，结果和绩效指标是研究中显示的唯一兴趣。 尽管对于某些学科来说，这可能是公平的情况，但科学和社会远不只是关注表现。 寻求理解为进一步的模型改进及其实际效用打开了大门。
下一节通过分析激励人们寻找可解释的人工智能模型的目标来进一步发展这些想法。
2.4 What for?（为了什么？）
到目前为止，围绕XAI的研究活动已经揭露了从实现一个可解释的模型中得出的不同目标。几乎没有一篇论文完全一致描述一个可解释的模型所要求的目标。然而，所有这些不同的目标可能有助于区分执行ML可解释性给定练习的目的。不幸的是，很少有贡献试图从概念性的角度来定义这样的目标，[5,13,24,30]。我们现在综合并列举了这些XAI目标的定义，以确定本文回顾中所涵盖的全套论文的第一个分类标准：
可信度(Trustworthiness)：一些作者同意将寻找可信度作为一个可解释的人工智能模型[31,32]的主要目标。但是，根据模型诱导信任的能力来声明其可解释性可能并不完全符合模型可解释性的要求。可信性可以被认为是一个模型在面对给定问题时是否会达到预期效果的置信度。虽然它应该是任何可解释模型的一个属性，但它并不意味着每个可信的模型本身都可被认为是可解释的，而且可信度也不是一个易于量化的属性。可信性不能作为一个可解释模型的唯一目的，因为两者之间的关系，如果达成一致，并不是相互的。部分论文在说明其实现可解释性的目的时提到了可信度的概念。然而，如表1所示，它们并不占最近与XAI有关的贡献的很大一部分。
因果关系(Causality)：：可解释性的另一个共同目标是找到数据变量之间的因果关系。一些作者认为，可解释的模型可能会简化寻找关系的任务，如果它们发生，可以进一步测试相关变量[159,160]之间更强的因果关系。从观测数据中推断因果关系是一个随着时间[161]而被广泛研究的领域。正如研究这一主题的社区所广泛承认的那样，因果关系需要广泛的先验知识框架来证明所观察到的影响是具有因果关系的。ML模型只发现它从学习到的数据之间的相关性，因此可能不足以揭示其因果关系。然而，因果关系涉及到相关性，因此一个可解释的ML模型可以验证因果推理技术提供的结果，或在可用数据中提供可能的因果关系的第一直觉。表1再次显示，如果我们关注明确将因果关系作为目标的论文数量，那么因果关系并不是最重要的目标之一。
可移植性(Transferability)：模型总受收到约束的限制，这应该允许其无缝的可移植性。这就是在处理ML问题[162,163]时使用训练测试方法的主要原因。可解释性也是可移植性的倡导者，因为它可以简化阐明可能影响模型的边界的任务，从而允许更好地理解和实现。类似地，仅仅理解模型中发生的内部关系就有助于用户在另一个问题中重新使用这些知识。在某些情况下，缺乏对模型的正确理解可能会导致用户走向不正确的假设和致命的后果[44,164]。可移植性也应该介于可解释模型的结果属性之间，但同样，并不是每个可移植模型都应该被认为是可解释的。正如表 1 中所观察到的，表明使模型可解释的能力是为了更好地理解重用它所需的概念或提高其性能的论文数量，是追求模型可解释性的第二个最常用的原因。
信息性(Informativeness)：使用ML模型的最终目的是支持决策的制定[92]。但是，我们不应忘记，该模型所解决的问题不等于人类对应模型所面临的问题。因此，需要大量的信息来能够将用户的决定与模型给出的解决方案联系起来，并避免陷入误解的陷阱。为此目的，可解释的ML模型应该提供有关正在解决的问题的信息。在这些论文中发现的大多数原因是提取有关文献关于模型内在关系的信息。几乎所有的规则提取技术都证实了他们的方法，以更简单地理解模型内部的作用，并说明知识（信息）可以在他们考虑解释前因的这些更简单的代理中表达。这是在被review的论文中发现的最常用的论点，以支持他们期望达到可解释模型的结果。
置信度(Confidence)：作为健壮性和稳定性的推广，作为鲁棒性和稳定性的推广，置信度应始终在一个期望可靠性的模型上进行评估。保持置信度的方法也因模型的不同而不同。如[165-167]所述，当从某个模型中得出interpretations（可解释性）时，稳定性是必须具备的。可靠的解释不应该由不稳定的模型产生。因此，一个可解释的模型应该包含有关其工作机制的信心的信息。
公平性(Fairness)：从社会的角度来看，可解释性可以看作是在ML模型中达到和保证公平性的能力。在某一文献链中，一个可解释的ML模型显示了影响结果的关系的清晰可视化，允许对手头的[3,100]模型进行公平或伦理分析。同样，XAI的一个相关目标是强调模型暴露的数据的偏差。在涉及人类生命的领域，算法和模型的支持正在迅速增长，因此，可解释性应该被视为避免不公平或不道德地使用算法输出的桥梁。
可访问性(Accessibility)：一小部分文献的贡献主张可解释性，因为它允许最终用户更多地参与改进和开发某个ML模型[37,86]的过程。很明显，可解释的模型将减轻非技术用户或非专家用户在不得不处理乍一看似乎难以理解的算法时所感受到的负担。这一概念被表达为被调查文献中第三个最被考虑的目标。
可交互性(Interactivity)：[50,59]的一些贡献包括模型与用户交互的能力，作为可解释ML模型的目标之一。同样，这个目标与最终用户非常重要的领域有关，而他们调整和与模型交互的能力是确保成功的原因。
隐私意识(Privacy awareness)：在回顾的文献中几乎被遗忘，ML模型可解释性的副产品之一是它评估隐私的能力。ML 模型可能对其学习的模式有复杂的表示。 无法理解模型 [4] 捕获并存储在其内部表示中的内容可能会导致隐私泄露。 相反，非授权第三方解释训练模型内部关系的能力也可能损害数据来源的差异隐私。 由于其在预计 XAI 将发挥关键作用的部门中的重要性，机密性和隐私问题将分别在第 5.4 节和第 6.3 节中进一步讨论。
本小节回顾了文献中广泛范围中所遇到的目标。所有这些目标显然都是在本节前面介绍的可解释性概念的表面之下。为了总结之前对可解释性概念的分析，最后一个小节处理社区遵循的不同策略，以解决ML模型中的可解释性。
2.5 How？（怎么做）
文献明确区分了可通过设计解释的模型和那些可以通过外部XAI技术解释的模型。这种二元性也可以看作是可解释模型和模型可解释技术之间的区别；更广泛接受的分类是透明模型和事后可解释性。同样的二元性也出现在[17]的论文中，其中区别在于作者解决透明箱设计问题和解释黑盒问题的方法。这项工作，进一步扩展了透明模式之间的区别，包括所考虑的不同层次的透明度。
在透明度方面，我们考虑了三个层次：算法透明度、可分解性和可模拟性。在事后技术中，我们可以区分文本解释、可视化、局部解释、示例解释、简化解释和特征相关性。在这种情况下，[24]提出了一个更广泛的区别来区分：1）不透明的系统，从输入到输出的映射是用户不可见的；2)可解释系统，用户可以用数学分析映射；3)可理解系统，模型应该输出符号或规则及其特定输出，以帮助理解映射背后的基本原理。最后一个分类标准可以考虑包含在前面提出的分类标准中，因此本文将尝试遵循更具体的分类标准。
表1：在审查的文献中追求的目标是达到可解释性，以及他们的主要目标受众。
2.5.1 机器学习模型的透明度水平
透明的模型本身就传达了某种程度的可解释性。属于这一类的模型也可以根据可解释的领域，即算法透明度、可分解性和可模拟性。正如我们接下来在图3所阐述的，这些类都包含它的前身，例如，可模拟模型同时是可分解和算法透明的模型： A Survey on Explainable Artificial Intelligence (XAI): Toward Medical XAI 文章目录 A Survey on Explainab ... XAI-Explainable artificial intelligence论文解读 Abstract WHAT IS XAI? EXPECTATION FROMUSERS EXPLAINABILI ... Explainable Artificial Intelligence Approaches: A Survey 现有的一些工具:LIME, DeepVis Toolbox, TreeInterpre ... 文献阅读(忆阻器篇) 忆阻器领域相关文献阅读 文章目录 文献阅读(忆阻器篇) 一.书籍 1.Memristor Based Logic Circuits 1.1 忆阻器简介 1.2 忆阻器模型 1.2 ... Deep Reinforcement Learning for Sepsis Treatment 1 Introduction 本文所提出的是一种基于深度强化学习的脓毒症治疗方法. 使用强化学习而非有 ... 我只是翻译或转载文献,截屏论文图片,记录下阅读记录.如有侵权,请联系删帖. 原标题: YOLOv3: An Incremental Improvement 原作者: Joseph Redmon, Al ... 为了在基于过程的模型中准确表示边坡稳定性,有必要包含大量涉及滑坡几何形状和内部结构的局部特征的特征.这包括但不限于斜坡的分层和不连续性.运动裂缝.裂片.陡坡.地垒/地堑结构.降雨.空气和土壤温度.土壤 ... 电导率 (EC).氢气功率 (pH).溶解氧 (DO).总溶解固体 (TDS).硫酸盐 (SO4).镁 (Mg).氯 (Cl).总大肠菌群 (TC) 和生化需氧量 (BOD) DO.BOD.化学需氧量 ... 第一篇 Improved landslide assessment using support vector machine with bagging, boosting, and stacking ...
图3：概念图说明了ML模型M
可解释性机器学习( Explainable Artificial Intelligence (XAI) )文献阅读记录(1.1)相关推荐
最新文章
热门文章