视学算法报道

转载自：机器之心

参与：杜伟、魔王

无论是字面上、符号上还是概念上的表达，这种神经元都会对相同的概念做出反应。

OpenAI 的研究者们在人工神经网络 CLIP 上发现了「真」神经元，这种机制解释了 AI 模型对令人惊讶的视觉呈现进行分类时，为何拥有如此的准确性。研究人员表示，这是一项重要发现，可能对计算机大脑乃至人类大脑的研究产生重大影响。

这或许意味着通用人工智能距离我们并没有想象的那么远。但理解了抽象概念的神经元，却也会做出一些令人啼笑皆非的理解。

15 年前，Quiroga 等人发现人脑中包含多模态神经元。这些神经元能够对围绕常见高级主题的抽象概念簇产生反应，而不是任意特定的视觉特征。其中最著名的神经元当属 Halle Berry 神经元，它能够对美国女演员「哈莉·贝瑞」的照片、图像和文本产生反应。

今年 1 月初，OpenAI 提出了一种通用视觉系统 CLIP，其性能媲美 ResNet-50，并在一些有挑战性的数据集上超过现有的视觉系统。给出一组以语言形式表述的类别，CLIP 能够立即将一张图像与其中某个类别进行匹配，而且它不像标准神经网络那样需要针对这些类别的特定数据进行微调。

最近，OpenAI 又有了一个惊人发现：CLIP 模型中出现了多模态神经元！这类神经元能够对以文本、符号或概念形式呈现的相同概念作出反应。例如「Spider-Man」神经元（类似 Halle Berry 神经元）能够对蜘蛛图像、文本「spider」的图像和漫画人物「蜘蛛侠」做出响应。

在 CLIP 模型中发现的神经元具备与人脑中 Halle Berry 神经元类似的功能，相比之前的人工神经元有所进步。

这一发现为合成视觉系统与自然视觉系统中的普遍机制——抽象提供了线索。研究人员发现 CLIP 的最高层将图像组织为 idea 的松散语义集合，从而为模型的通用性和表示的紧凑性提供了简单解释。

OpenAI 表示：这一发现或许可以解释 CLIP 模型的分类准确率，也是理解大型语言模型在训练过程中学习到的关联和偏见的重要一步。

那么，CLIP 中的多模态神经元到底是什么样子呢？OpenAI 研究人员利用可解释性工具进行了探究，发现 CLIP 权重内的高级概念包含很多人类视觉词汇，如地区、面部表情、宗教图像、名人等。通过对神经元影响力的探究，我们可以更加了解 CLIP 如何执行分类。

CLIP 中的多模态神经元

OpanAI 的论文《Multimodal Neurons in Artificial Neural Networks》建立在近十年来对卷积网络解释的研究基础上，该研究首先观察到许多经典方法可以直接应用于 CLIP。OpenAI 使用两种工具来理解模型的激活，分别是特征可视化（通过对输入进行基于梯度的优化来最大化神经元的激活）和数据集示例（观察数据集中神经元最大激活图像的分布）。

通过这些简单的方法，OpenAI 发现 CLIP RN50x4（ResNet-50 利用 EfficientNet 扩展规则扩增 4 倍）中的大多数神经元都可以得到解释。这些神经元似乎是「多面神经元」的极端示例，它们只在更高层次的抽象上对不同用例做出响应。

例如，对于夏季和冬季两个不同季节，文本、人脸、Logo、建筑物、室内、自然和姿态等表现出了不同的效果：

对于美国和印度两个不同国家，文本、人脸、Logo、建筑物、室内、自然和姿态等也呈现出了不同的效果：

OpenAI 惊奇地发现，其中很多类别似乎是利用颅内深度电极记录的癫痫患者内侧颞叶中的镜像神经元，包含对情绪、动物和名人做出反应的神经元。

然而，OpenAI 对 CLIP 的研究发现了更多这类奇怪但绝妙的抽象，包括似乎能计数的神经元、对艺术风格做出响应的神经元，甚至对具有数字修改痕迹的图像做出响应的神经元。

多模态神经元的构成是怎样的

这些多模态神经元能够帮助我们理解 CLIP 如何执行分类。使用一个稀疏线性探针即可以很容易地查看 CLIP 的权重，从而了解哪些概念结合在一起实现了 ImageNet 数据集上的最终分类。

如下图所示，存钱罐似乎是由一个「finance」神经元和瓷器（porcelain ）神经元组成的。「Spider-Man」神经元也表现为一个蜘蛛检测器，并在「谷仓蜘蛛」（barn spider）的分类中发挥重要作用。

对于文本分类，OpenAI 的一个关键发现是，这些概念以类似于 word2vec 目标函数的方式包含在神经元中，它们几乎是线性的。因此，这些概念构成了一个单代数，其行为方式类似于线性探针。通过线性化注意力，我们也可以像线性探针那样检查任意句子，具体如下图所示：

错误的抽象

CLIP 的抽象化程度揭示了一种新的攻击向量（vector of attack），OpenAI 认为这种向量并未在以往的系统中表现出来。和很多深度网络一样，模型最高层上的表征完全由这类高级抽象控制。但是，区分 CLIP 的关键在于程度（degree），CLIP 的多模态神经元能够在文字和符号之间实现泛化，而这可能是一把双刃剑。

通过一系列精心设计的实验，OpenAI 证明了可以利用这种还原行为来欺骗模型做出荒谬的分类。此外，OpenAI 观察到，CLIP 中神经元的激发通常可以借助其对文本图像的响应来控制，从而为攻击该模型提供了一个简单的向量。

举例而言，金融神经元可以对存钱罐和货币符号串「$$$」做出响应。通过强制性地激活金融神经元，我们可以欺骗 CLIP 模型将一条狗分类为存钱罐。具体如下图所示：

野外攻击

OpenAI 将这类攻击称为「typographic attack」。研究人员穷尽 CLIP 模型鲁棒性读取文本的能力，发现即使是手写文本图像也能骗过模型。如下图所示，在「史密斯奶奶」青苹果表面贴上写着「iPod」的纸张，系统将其错误分类为「iPod」。

研究人员认为这类攻击还可能以更微妙、不明显的形式出现。CLIP 的输入图像往往用多种细微复杂的形式进行抽象，这可能会对一些常见模式进行过度抽象——过度简化，进而导致过度泛化。

偏见和过度泛化

CLIP 模型基于精心收集的网络图像进行训练，但它仍然继承了许多未经检查的偏见与关联。研究人员发现 CLIP 中的许多关联是良性的，但也有一些关联会带来损害，如对特定个人或组织的贬损。例如，「Middle East」（中东）神经元与恐怖主义存在关联，「immigration」（移民）神经元对拉丁美洲有反应，甚至有的神经元还对黑皮肤人群和大猩猩产生反应。这映射了早期其他模型中存在的图像标注问题，而这是不可接受的。

这些关联对此类强大视觉系统的应用提出了极大挑战。不管是经过微调还是使用零次学习，这些偏见和关联大概率仍会存在于系统中，而它们也将以可见或不可见的方式影响模型部署。我们或许很难预测很多带偏见的行为，如何度量和纠正它们是非常困难的事情。OpenAI 认为这些可解释性工具可以提前发现关联和歧视，进而帮助从业者规避潜在的问题。

OpenAI 表示他们对 CLIP 的理解仍在继续，而是否发布 CLIP 模型的大型版本尚属未知。

这一研究或许会对 AI 技术，甚至神经科学研究打开一条新路。「因为我们不了解神经网络运作的机制，因此很难理解它们出错的原因，」OpenAI 的联合创始人、首席科学家 Ilya Sutskever 说道。「我们不知道它们是否可靠，或它们是否存在一些测试中未发现的漏洞。」

此外，OpenAI 还发布了用于理解 CLIP 模型的工具，例如 OpenAI Microscope，它最近更新了 CLIP RN50x4 中每个神经元的特征可视化、数据集示例和文本特征可视化。详情参见：https://microscope.openai.com/models

图源：https://microscope.openai.com/models/contrastive_4x?models.technique=deep_dream

研究者还公布了 CLIP RN50x4 和 RN101 的权重，参见 GitHub 项目：https://github.com/openai/CLIP

原文链接：https://openai.com/blog/multimodal-neurons/

https://distill.pub/2021/multimodal-neurons/

© THE END

转载请联系 机器之心 公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

点个在看 paper不断！