智源导读：中学考试，往往会出现这种现象：努力学习的学生反而没有整天玩耍的学生考得分数高。这其中的一个原因是，后者掌握了考试窍门，即使某些知识不懂，也可以蒙对。

AI和人类一样，也有“考试”的策略，在寻求解决办法的路上有时候也喜欢寻找“捷径”，例如根据“狗带”来识别“狗”。

比较心理学之父劳埃德 · 摩根（Lloyd Morgan）制定了一项较为保守的指导方针，用以解释非人类行为，即: “但凡能够公平地从心理进化和发育程度较低的角度来解释动物活动，那么就不必从更高的心理进程角度来解释”。这条准则用于机器学习似乎同样适用。

编译：梦佳

如果深度学习的过程是一场考试，那么机器是否也可以作弊？

比如大学四六级阅读考试中，即使你不认识ABCD，但是可以依靠经验判断出三短一长选一长，三长一段选一短。

AI和人类一样，也有“考试”的策略。

举一个例子，比如猫/狗分类器，虽然无法准确识别猫狗的特征，但是可以检测出皮带。虽然说猫和狗相比，大部分图片中狗都拴着狗绳，但狗绳不能作为狗的一般属性。事实证明，这个分类器是在偷懒！采取了一条捷径来解决问题。识别颜色鲜亮的皮带通常比识别猫狗的区别要容易的多。

这当中的核心问题在于，机器学习算法总是偏好最省时省力的路线。

01

机器学习也会偷懒，答对了不等于真的会

现实中，我们发现机器学习会出现大量的故障和偏差的情况，其中一些已在上图中可视化。

DNN 可以实现超人类识别物体的能力，但是即使是微小到看不见的变化或者物体背后不同的背景环境都可以完全破坏预测结果。

DNN 可以为一张图片生成一个看似合理的标题，但令人担忧的是，他完成这种任务的时候，并没有真正看那张图片。

DNN 可以准确地识别人脸，但是它们识别边缘群体错误率会很高。

DNN 可以根据简历预测招聘结果，但是算法的决策却偏向于选择男性。

其他在现实世界中的例子如下图：

如图，一个 DNN 可能会将一个典型的草地景观识别为一个“放牧的羊群” ，通过“草”作为一个意外的“捷径”来预测“羊”。

更有甚者，一个机器分类器成功地从许多医院的 x 光扫描中检测出肺炎，但是如果换了一家医院，它的性能却出奇地差，原因是该模型学会了以近乎完美的准确性识别特定的医院系统(例如，在扫描中检测到医院特有的金属标记)。再加上该医院的肺炎患病率，便能够做出一个相当不错的预测ーー但对肺炎本身却没有什么本质上的了解。

DNN一方面在很多领域展现出超人的表现，而另一方面却经常有惊人的失败。许多失败案例并不是独立的现象，而是相互关联的，因为 DNN 会遵循意想不到的“捷径”策略。虽然表面上很成功，但是这些策略通常会在情况发生些微变动时遭遇失败。

捷径学习并不是一个新奇的现象。一直以来，机器学习领域缺乏对捷径学习的正式定义和理解，不同术语下相关的研究工作也在不断增加，例如协变量偏移、反因果学习、数据集偏见、和观察者期望效应等等。各种现象可以统称为捷径。

02

人和小动物

捷径学习不仅仅是机器学习中存在的问题: 从学生学习的方式，到老鼠在行为实验中使用的意外策略ーー捷径学习的各种变体在生物神经网络中也十分常见。我们在这里列举两个生物系统中无意识学习策略的例子。

比较心理学的捷径学习(学习无意识的暗示)

老鼠学会了通过一个复杂的迷宫，这个迷宫的设置基于细微的颜色差异，而考虑到老鼠的视网膜充其量只能粗糙识别颜色，这个结果令人十分惊讶。对这一奇怪发现的调查显示，老鼠欺骗了研究人员: 他们在实验中根本没有使用他们的视觉系统，只是简单地根据颜料的气味来区分颜色。一旦嗅觉被控制，颜色辨别能力就随之消失了(N. Rawlins，private communication)。

这也就是比较心理学和行为神经科学中的捷径学习。

教育中的捷径学习(表面学习)

教育研究中，捷径学习，或者说表面学习也屡见不鲜。比如说学生A和学生B，一个勤奋好学，一个爱耍小聪明。而爱耍小聪明的同学碰巧在考试时记住了一些诀窍，显得游刃有余，考试时得分甚至比勤奋好学的同学还要高。在这种测试条件下，前者满足了捷径学习的假象，营造出了一种表现良好的假象。

03

所谓捷径究竟是什么？

说完了生物学上的捷径学习，那么人工神经网络中的捷径学习又是什么样的？

下图显示了神经网络训练中一个简单的分类问题。当在相似数据(蓝色)上测试模型时，表现得非常好ーー或者说表面上看起来是这样。这个网络和那些欺骗实验者的聪明老鼠一样，用一种最快捷的方式来解决眼前的分类问题，比如下图中靠星星和月亮的位置来判断，而不是它们的形状。当位置为控制变量时，网络性能就会变差，甚至完全随机猜测(红色)。

图：当用一个简单的星星和月亮数据集训练时，一个标准的全连接神经网络学会了一个捷径策略: 根据位置(星星在右上角或左下角; 月亮在左上角或右下角)，而不是物体的形状进行分类。

任何神经网络(或机器学习算法)本质上是在实现一种决策规则，该规则定义了输入和输出之间的关系ーー在这个例子中指的是，为每个输入图像分配一个类别。捷径学习是一组比较特殊的决策规则。为了将它们与其他决策规则区分开来，我们在这里介绍了决策规则的分类法(图3)。

1、所有可能的决策规则，包括非解决方案。想象一下这样一个模型，它试图通过每次检测到图像中的白色像素来预测“星星”，来解决星星和月亮分类的问题。这个模型使用了一个毫无信息量的特征，并且在训练的数据上没有达到很好的性能，因为它使用了一个糟糕的决策规则(因为月亮和星星的图像都包含白色像素)。

2、训练解决方案，包括过拟合。在机器学习中，通常的做法是将可用的数据随机分成训练集和测试集。训练集用于指导模型选择一个(希望是有用的)决策规则，测试集用于检查模型能否在以前没有见过的相似数据上取得良好的性能。

在数学上，训练集和测试集之间的相似性概念是假设两个集合中的样本都来自同一个分布(称为独立同分布，或 i.i.d)。然而，如果一个决策规则只能在训练图像上正确预测，而不能在 i.i.d 测试图像上正确预测，那么机器就会使用过拟合特征。

3、同分布测试解决方案，包括捷径。解决训练集和 i.i.d 测试集的决策规则通常会在基准测试中得到高分。然而，即使是一个简单的例子也可能有三种不同的决策规则: (1)通过形状，(2)通过计算白色像素的数量(月亮比星星小)或(3)通过位置，仅仅依靠同分布数据的系统是无法区分这两者的，还需要在外分布数据（o.o.d.)上测试模型。

4、预期解决方案。使用预期特征的决策规则不仅适用于 i.i.d. 测试集，也适用于快捷解决方案失败的 o.o.d. 测试。在示例中，基于对象形状(预期特征)的决策规则可以推广到不同位置的对象。对于预期的解决方案应该具备什么样的能力，人类通常会有一个直觉。然而，对于复杂的问题，预期的解决方案几乎不可能形式化，因此需要机器学习来估计这些解决方案。因此，例子的选择也会影响预期的解决方案。

04

捷径是如何产生的？

很明显，捷径学习是要避免的，但捷径从何而来，以及在通过捷径学习的视角评估一个模型或任务时，人们需要留意哪些现实世界中的捷径特征？有两个方面需要考虑。首先，数据中潜在的“捷径”(或捷径特征) ，即以不同于预期的方式解决问题的可能性。第二，决策规则: 不同的特征如何组合。这两方面共同决定了模型如何泛化。

数据集偏见引发的“捷径”

是什么让奶牛成为奶牛？对于 DNN 来说，熟悉的背景对于识别物体本身同样重要，有时甚至更重要。比如在意想不到的地点(比如海滩而不是草原)出现的奶牛很可能不会被准确的识别。相反，郁郁葱葱的丘陵地带根本没有任何动物，但却可能被 DNN 识别成“放牧的羊群”。

事实上，许多模型的预测都是基于上下文。这些所谓的数据集偏见早就被认为是机器学习算法的问题。人类也会受到上下文偏见的影响(当物体出现在预期的上下文背景当中时，反应速度加快就是明证) ，但当不存在上下文时，他们的预测所受到的影响就会小很多。

除了相当容易识别的捷径之外，深度学习还发现了更多微妙的捷径特征，包括人眼几乎看不见的高频模式。即使在数据量大、繁杂的“大数据”中，系统性偏差依然存在，所以即使是现实世界中的大数据集也常常包含许多出现“捷径”的机会。

决策规则(判别学习中的捷径)

是什么使猫成为猫？在DNN看来，图4下面一行的图例(带有大象纹理的猫)显示的是大象，而不是猫。DNN 在物体分类时很大程度上靠的是纹理线索，却忽略了物体的整体形状。

图：人类和 DNN 都具有泛化的能力，但是他们的泛化方式非常不同

判别学习不同于生成模型，会通过任何足以可靠地区分给定数据集的特征进行判断，但机器不知道现实的例子通常是什么样子，用于区分的特征如何与定义对象的其他特征相结合。

在上述的示例中，如果完全忽略其他预期属性(如形状) ，那么使用纹理进行对象分类就会出现问题。

这充分说明了特征组合的重要性: 一个对象的定义依赖于来自不同来源或属性的信息(可能是高度非线性的)组合，这些信息影响着一个决策规则(在认知科学中，这个过程被称为线索组合)。仅仅依靠纹理属性而对物体形状“无感知”的决策规则，显然无法捕捉到人类视觉所理解的物体识别任务。当然，我们的目的不仅仅是实现与人类决策规则保持一致。例如，在医疗或安全等至关重要的应用中，我们一直期待机器有超越人类的表现。

在标准的判别特征学习中，一些判定规则甚至依赖于单一的预测像素，而其他所有的特征都被忽略了。在动物学习模型中，阻断效应是一种相关的现象。

神经认知科学实验中，阻断效应指的是，事先训练老鼠告诉它铃声本身是可以带来食物的，多次训练之后，在播放铃声的时候又同时加入灯光，之后再看老鼠对于纯光的反应。这个时候只给老鼠看光的话，它没有任何期待食物的反应。也就是说，它知道铃声可以带来食物，加上光之后食物的量还是一样的话，光是无用的。

总结来看，一旦一个预测性的线索/特征(比如一道闪光)与一个结果(比如食物)联系起来，动物有时就无法将一个新的、同样具有预测性的线索与同样的结果联系起来。

05

从比较心理学入手

与此同时，文章提出了一种颇有新意的观点，可以从比较心理学中“拟人论”这个概念进行阐释。

用摩根准则（Morgan's canon）来解释机器学习的「非人」行为似乎十分贴切。

摩根准则指的是心理学家劳埃德 · 摩根（Lloyd Morgan）制定的一项较为保守的指导方针，用以解释非人类行为，即: “如果能够公平地从心理进化和发展规模程度较低的角度来解释动物活动，那么就不能从更高的心理进程角度来解释”。

回想一下开始讲的故事，老鼠走迷宫靠的是嗅觉而不是视觉。人们往往会心照不宣地认为，像人一样的表现意味着采取和人一样的策略。

而比较心理学中则认为，“人类倾向于在缺乏实证依据的基础上将类似人类的心理特征归到非人类身上”。比较心理学在比较不同物种的心理能力方面有着悠久的历史，由此还衍生出了拟人论这个术语。

比较心理学是指对非人类动物的行为和心理过程的科学研究，尤其与系统发育史，适应性意义和行为发展有关。该领域的研究通过解决许多不同的问题并使用许多不同的方法来探索从灵长类到昆虫的许多不同物种的习性。比较心理学强调种间比较，通常包括人与动物之间的比较。

因此，从所谓的“摩根机器学习准则”来仔细解读机器学习就会豁然开朗: 永远不要把那些可以通过捷径学习来解释的行为归因于更高水平的认知能力。

说白了，你以为机器已经很聪明了，其实他只是投机取巧了而已。

参考链接：

https://techxplore.com/news/2020-12-exploring-notion-shortcut-deep-neural.html

点击左下角“阅读原文”，了解更多！