可解释的AI：深入深度学习黑匣子

Sheldon Fernandez是DarwinAI的首席执行官。

关于人工智能存在“黑匣子”问题的说法并不完全准确。相反，问题主要在于深度学习，深度学习是一种基于神经网络的AI的特殊而强大的形式，而神经网络是模仿人脑认知能力的复杂结构。

使用神经网络，系统的行为反映了网络针对其进行训练的数据以及对数据进行注释的人员标记。此类系统通常被称为黑匣子，因为尚不清楚它们如何使用这些数据得出特定的结论，并且这些歧义性使得很难确定系统如何或为何以这种方式运行。

[在InfoWorld上深入学习机器学习： 11种必备的机器学习工具。 • 掌握机器学习的13个框架 • 揭秘了机器学习管道 •回顾： 6个机器学习云 • 您应使用哪个Spark机器学习API？ ]

因此，可解释性是窥视这个黑匣子并了解神经网络决策过程的能力。可解释性与深度学习的道德，法规和可靠性要素有关，因此具有重要意义。

黑匣子问题的一个很好的例子使我们在自动驾驶汽车领域的一位客户困惑了几个月。尽管有微小的细节，但该公司在自动驾驶汽车的测试过程中遇到了一些怪异的行为，该行为以越来越明显的规律性开始向左转，而没有明显的原因。系统的设计者无法理解行为。

经过数月的痛苦调试，使用DarwinAI的Generative Synthesis技术，系统的架构师终于找到了问题的根源-天空的颜色。由于针对特定转弯场景的训练是在沙漠中进行的，而天空是一种特定的色调，因此神经网络已经建立了向左转弯与光照条件之间的相关性。但是由于深度学习的不透明性，工程师们无法在实际环境中进行测试并发现问题的机会，从而无法发现此类行为。

正如这个小故事所说明的那样，黑匣子问题使构建可靠而健壮的神经网络变得困难，当生命受到威胁时，这对于任务关键型应用程序尤其重要。具体来说，如果您不知道神经网络如何做出决策，那么您将不知道它何时会失败。而且，如果您不知道何时会失败，您将无法确保消除了神经网络行为中的偏见或灾难性边缘情况。

可解释的AI的技术优势

从技术角度来看，窥视神经网络内部工作并揭开其行为神秘色彩的能力为架构师和开发人员提供了三个主要好处：

检测和消除边缘情况和数据偏差

深入了解神经网络如何实现其决策，将使开发人员能够检测系统中有问题的边界情况，并确定用于训练它的数据中的偏差。

例如，在一个有据可查的例子中，图像分类网络变得非常善于识别马匹。该系统一直是其设计者的骄傲，直到发现其有效性的关键：由于马的图片经常受版权保护，网络正在搜索©符号来对这些动物进行分类。可以肯定的是，它是有创造力的，但是事故正在等待发生。

在第二个示例中， COPAS假释算法在2016年受到负面报道，当时它发现预测犯罪分子未来的软件偏向于非裔美国人。原因？该系统使用历史数据进行了培训，因此反映了司法系统中的偏见。在另一个最近广为宣传的示例中，亚马逊提供的招聘工具由于其提供的历史数据而开始偏爱男性候选人而不是女性候选人。

在这些情况下，可解释性将使设计人员能够在模型开发过程中识别此类问题，并在决策过程中消除有问题的触发因素（例如，种族，版权符号，天空的颜色）。

提高模型的准确性和性能

照亮深度学习的黑匣子还可以帮助提高模型的准确性和性能。

通常，设计深度神经网络的过程始于选择一种流行的公共参考模型（例如Inception或MobileNet YOLO），然后对其进行扩展和培训以完成特定任务。在这种情况下，开发人员通常不了解流行网络的哪些部分对手头的任务最为关键。

技术层面的可解释性-特定任务甚至涉及特定的层甚至单个神经元的程度-将使开发人员可以修改网络的各个部分以提高准确性并删除多余的组件。后者的另一个好处是可以潜在地提高性能并促进更快的推理。

减少（有效）训练网络所需的标记数据量。

可解释性的最终技术优势是，它有可能减少针对特定用例训练神经网络所需的标记数据量（通常必须购买）。一个例子将有助于说明这一点。

通常，对于特定的用例，模型的性能会很差。例如，我们的一位自动驾驶汽车客户的感知网络在检测自行车方面特别糟糕。在该问题上投入更多数据通常可以纠正这种缺陷。例如，使用50,000张额外的自行车图像对模型进行重新训练应该可以解决问题。

可解释性可以更精确地表征这些缺陷。例如，它可能表明神经网络在一天中的这个时间很不利于以这种方向检测自行车。以这种方式，标记的数据量需要纠正问题可以显着减少（例如通过与一天的这个时间在这个特定的取向自行车和购买图像）。

适用于业务利益相关者的可解释AI

需要注意的重要一点是，对于工程师和业务用户而言，可解释性可能意味着截然不同的事情，并且与工程师沟通的细粒度数据点必须转换为对业务人员有意义的更高层次的表示形式。

因此，考虑与非技术人员有关的黑匣子问题很有用。具体来说，是最终使用和支持此类系统的业务利益相关者。

总体而言，神经网络的难以理解性为技术食品链上方的资源提出了两个挑战。首先，在这种模型中识别风险和偏差是非常具有挑战性的，因为它们是不透明的。其次，神经网络模型的不可理解性使得即使正确运行也很难从它们产生的结果中提取具体的业务见解。

发现深度学习中的数据偏差和相关问题

深度学习系统仅与训练所依据的数据一样好。神经网络基于偏斜的数据集产生偏差结果的情况并不少见。

如前所述，当COPAS Parole算法开始对非裔美国人产生偏见时，就成为了严密审查的主题。同样，上述自动驾驶汽车示例说明了当AI在给定的数据之间绘制无意义的相关性时的危险。

可解释性将使业务涉众可以更轻松，明确地解决此类问题。这不会像他们的工程同事那样在技术层面上完成，而是在他们的特定专业领域内完成。例如，在第一种情况下，在可解释性工具确定其用途之后，法律管理员可以消除种族作为假释量刑的决定因素。

将风险管理应用于深度学习模型

黑匣子问题在风险管理方面给业务涉众带来了第二个挑战。与开发人员一样，模型的不透明性使业务涉众难以理解AI算法的优势和局限性。结果，企业很难构造缓解策略来弥补这些缺点。

可解释性将使利益相关者可以通过竞争性AI系统，更传统的算法方法或非AI和手动流程来构建预防措施。这将使企业能够更好地衡量和管理风险，因为企业经理将对AI如何做出决策有更量化的了解。

获得业务见解并改善流程

关于神经网络如何实现其决策的高级见解，不仅可以促进补偿性措施，而且还可以做更多的事情。它们还可以使业务利益相关者对可用于改善现有业务流程的新的和非显而易见的关联性具有可见性。

例如，最近，事实证明，一个AI旅行系统非常擅长预测给定客户想要的酒店。神经网络识别出的一种关联（人类操作人员从未意识到过）是酒店靠近某个街角。当结合其他考虑因素时，此变量是影响酒店偏好的重要因素。

重要的一点是，通过可解释的AI识别此变量可以使企业以高效的方式修改其流程，在这种情况下，作为明确的选择，向客户展示此街角附近的位置。

总之，可解释的AI使企业能够利用深度学习中发现的新关联来改善和增强自己的流程。由于神经网络擅长于此任务，因此可解释性可以在此类领域提供巨大的潜在价值。

为深度神经网络带来可解释性

回顾一下，由于深度神经网络的复杂性，黑匣子问题在技术层面上存在。具有数百个层和数百万个（有时数十亿个）参数，对于人类来说，解开深度神经网络的内部工作原理并了解他们如何做出决策根本不可行。

具有讽刺意味的是，应对这种复杂性的一种方法（我们在DarwinAI中使用的方法）是使用AI本身。

生成综合是我们深度学习设计的核心技术，是我们学术团队多年研究的副产品，其先前的荣誉包括分别在2016年和2017年的神经信息处理系统（NIPS）会议上的研讨会上发表的两篇获奖论文。。

具体而言，生成综合使用神经网络来探测和理解神经网络，从而识别和纠正人类无法发现的网络效率低下的问题。然后，它将生成该神经网络的许多新的且高度优化的版本。更重要的是，在此过程中，生成综合所获得的理解使多层可解释的深度学习成为可能。以下是我们的生成综合技术可促进的可解释性类型的一些示例。

神经网络预测的根本原因分析

了解神经网络行为的一种方法是通过根本原因分析，其中包括确定最能影响特定决策的那些输入因素。该技术如下所示。

图1说明了一个相对简单的神经网络任务，即对手写数字进行分类。在这种情况下，生成综合技术突出显示了对分类影响最大的特定领域。在左侧的“ 9”和“ 3”数字的情况下，推理是清楚的，如每个图像中红色和蓝色突出显示的区域所示。图像的这些区域最负责以这种方式对数字进行分类的神经网络。

但是，在右边“七”位数的棘手情况下，说明了可解释性的真正好处。在这种情况下，生成综合不仅能够识别神经网络正确的位置（突出显示的黄色区域），而且还能够查明网络错误的区域（红色和蓝色区域），这在不同情况下，可能导致预测错误（数字分类错误）。

在更复杂的场景中，了解这些细微差别（深层神经网络决策背后的合法和有问题的途径）尤其重要。一个很好的例子如图2所示。

在这种情况下，神经网络将这张图片错误地归类为锤子，这对大多数人来说是一个神秘的选择。使用根本原因分析，Generative Synthesis能够找到对预测有最大影响的图像区域（通过上方的有界框）。这种可视化效果可以说明问题，因为长凳拐角与其腿部的接合处看起来确实像锤子。

From: https://www.infoworld.com/article/3315748/explainable-ai-peering-inside-the-deep-learning-black-box.html