论文笔记：Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features

论文笔记：Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features(通过对神经活动和视觉特征的多模态学习来解码大脑表征)

文章目录

论文笔记：Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features(通过对神经活动和视觉特征的多模态学习来解码大脑表征)
- 摘要
- 引言
- 相关工作
- - 脑电图数据分类（EEG classification）
  - 用来解码大脑表征的计算神经科学
  - 由大脑活动指导的机器学习
  - 多模态学习
- 视觉-脑特征的多模态学习
- - 编码器的架构
- 图像分类与显著性检测
- 视觉相关的大脑过程
- 解码大脑表征
- 结论

摘要

这项工作提出了一种探索人类大脑-视觉表征的新方法，以期在机器中复制这些过程。其核心思想是通过关联人类神经活动和自然图像来学习看似合理的计算和生物表征。因此，我们首先提出了一个模型，EEG-ChannelNet，以学习一个脑流形的脑电图分类。在验证了可以从脑电图数据中提取视觉信息后，我们引入了一种多模态方法，使用深度图像和以暹罗网络训练的脑电图编码器，以学习联合流形，最大限度地提高视觉特征和大脑表征之间的兼容性度量。然后对学习到的流形进行图像分类和显著性检测。性能分析表明，我们的方法可以令人满意地解码神经信号中的视觉信息。这又可以有效地监督深度学习模型的训练，在训练外类上的图像分类和显著性检测的高性能证明了这一点。所得结果表明，学习到的脑视觉特征得到了改善。

引言

人类的视觉能力几乎可以与人工系统相媲美，这主要归功于深度学习领域的最新进步。事实上，深前馈和循环神经网络的启发大致来自灵长类动物的视觉系统，已经显著提高了计算机视觉、自然语言处理、语音识别和游戏的性能。除了在这些任务中显著的表现提高外，通过深度计算模型学习到的表征似乎与大脑表征高度相关。例如，视觉通路中的大脑表征与深度神经网络(DNNs)[1]、[2]中各层的层次结构之间存在相关性。这些发现为认知神经科学家和人工智能研究人员的多学科研究铺平了道路，其目的是对人类大脑及其适应能力进行逆向工程，[3]、[4]、[5]、[6]。然而，这一多学科领域仍处于起步阶段。事实上，现有的计算神经模型松散地模拟了生物神经元的计算和连接，但它们经常忽略了前馈和反馈的神经交互作用。例如，人类的视觉识别似乎可以通过前后处理大脑皮层区域[7]、[8]、[9]、[10]的多层信息聚集而减轻。最近的方法[11]，受神经科学中的层次预测编码启发，[13]，试图通过提出具有前馈、反馈和循环连接的循环神经网络，将这些额外的信息编码到计算模型中。这些模型在视觉分类任务中显示出了良好的表现，并证明了更详细地理解人类大脑可以使我们将这些知识转移到工程模型中，以创造出更好的机器。显然，在将人类级别的分类性能转移到计算模型之前，首先需要更好地理解人类的视觉系统。为了实现这一目标，我们打算将人类参与者在执行特定任务时记录的神经活动数据与我们为完成同一任务而开发的计算模型联系起来。通过研究学习到的计算表征以及它们如何与神经活动相关联，就有可能推断、分析并最终复制机器中复杂的大脑过程。

在本文中，我们首先提出了一个模型来学习大脑对自然图像的反应分类神经表征。然后，我们引入了一种基于深度学习脑电图和图像编码器的多模态方法，在暹罗配置（siamese configuration）训练，鉴于对静止图像进行视觉分类的几个受试者的EEG（脑电波）大脑活动数据，我们的多模态方法学习了联合大脑视觉嵌入，并发现大脑表征和视觉特征之间的相似性。然后，嵌入用于执行图像分类、显著性检测，并假设在人脑中生成的用于视觉场景分析的可能表示。

特别是，本文证明了

神经活动数据可以为深度学习模型提供更丰富的监督，从而产生与人类神经数据对齐的视觉分类和显著性检测方法
联合人工智能和认知神经科学的努力，可以通过最大限度地提高深度模型与人类神经反应的相似性，揭示涉及人类视觉感知的神经过程。事实上，我们提出了一种提取视觉显著性（及其随着时间的推移的进化）的方法，以及定位产生这些信息的皮层区域
计算表征和大脑过程之间存在潜在的相似性，为生物和深度学习模型之间的一致性提供了有趣的见解。

综上所述，在时间和空间上学习并将大脑过程与视觉线索联系起来的方法，产生了双重贡献：

人工智能。我们引入了新的模型来解码与视觉相关的视觉任务与最先进的性能和在生物合理的方式。此外，我们的方法允许自动识别与人类神经活动一致匹配的计算特征，代表了一个新的方向来帮助解释人工智能模型
认知神经科学。我们的方法是向认知神经科学家提供基于人工智能的方法的一步，以理解空间和时间上的神经反应，而不需要设计多个主题和实验的实验。当设计出高度精确的人工智能时，它将允许认知神经科学家模拟人类的反应，而不是收集大量昂贵的数据

本文的组织结构如下。在下一节中，我们将回顾结合大脑数据和计算模型的最新方法，以及多模态学习的相关方法。在第3节中，我们描述了我们的方法的核心，并回顾了用于学习联合脑-视觉嵌入的具体框架。接下来，我们将描述从图像和大脑活动模式中提取最相关的视觉信息的方法，以及它们的解释（第4、5和6节）。第7节报告了与图像分类和显著性检测相关的实验结果，并展示了主要影响视觉分类的学习表征。在最后一节中，我们给出了这些结论和未来的发展方向。

相关工作

我们的工作最直接地涉及到脑电图数据分类、大脑解码的计算神经科学、由大脑活动引导的机器学习和多模态学习等领域。本节将简要回顾这些领域的最新技术进展。

脑电图数据分类（EEG classification）

近年来，基于深度学习的EEG数据分类方法越来越流行（综合评述见[14]）。这些方法中的大多数提出了一种自定义AI解决方案，用于BCI（脑-计算机接口）应用（例如，运动想象、语音想象、情绪识别等）[15]，[16]，临床应用[17]，[18]（例如，癫痫检测和预测）中的数据分类，或用于监测认知功能[19]，[20]（精神负荷、投入、疲劳等）。上述工作的重点是对几个类别的分类（从二元分类到少于10个类），没有一个类别的主要目标是理解人类的视觉过程（在空间和时间上）。此外，大多数被提出的模型已经应用于单一的BCI范式，具有非常可控的刺激。一个明显的担忧是，这些方法可能无法概括，它们的能力可能会随着刺激和任务的微小变化而崩溃。EEGNet试图解决这个泛化问题，[21]。为此，作者实现了一个紧凑的卷积神经网络用于脑电图分类。该模型采用深度可分离卷积，可应用于不同的脑电图实验，在多个任务中取得良好的表现：P300视觉诱发电位、错误相关负性反应(ERN)、运动相关皮层电位(MRCP)和感觉运动节律(SMR)。类似地，[22]提出了参数化卷积滤波器，在不同频段学习相关信息。

本文提出的脑电图分类方法旨在通过建模更一般的神经反应时空特征来改进[21]，[22]的设计概念，以支持认知神经科学研究，以提高人类神经数据在时间和空间上的可解释性。

用来解码大脑表征的计算神经科学

解码大脑表征一直是一个长期以来追求的目标，它仍然是我们这个时代的一个巨大挑战。特别是，认知神经科学的工作在理解源自初级视觉皮层(V1)的神经表征方面取得了很大的进展。事实上，众所周知，主要视觉皮层是一个视网膜组织的定向边缘和颜色探测器[23]前馈到神经区域专注于更复杂的形状和特征维度，操作在更大的接受域区域V4[24]，最终到达对象和类别表示下时间（IT）皮层[25]。神经成像方法，如功能磁共振成像、脑磁电图和脑电图，对这些发现至关重要。然而，要重建完全代表我们的视觉过程的人类层面的神经表征，就需要同时精确地监测大脑中每个神经元的活动。虽然这些方法显然不能实现这一崇高的目标，但它们包含了足够的信息来准确地重建许多视觉体验[26]。为此，大脑表征解码最近研究了神经活动数据和计算模型[1]，[2]之间的相关性。然而，这些方法主要是执行深度学习表征和神经成像数据之间的简单相关性，并根据所得到的结果，得出关于大脑表征的结论，从我们的观点来看，这过于简单了。事实上，我们想法的核心点是，理解人类视觉系统将是训练自动化模型的结果，以最大限度地提高大脑活动和诱发刺激之间的信号相关性，而不是单纯地分析大脑活动数据。此外，虽然大多数方法试图解码大脑表示使用大脑图像从高空间分辨率功能磁共振成像，我们的工作是第一个使用脑电图数据，尽管低空间分辨率，有更高的时间分辨率，这使得它更适合解码快速大脑过程像那些参与视觉通路。此外，与功能磁共振成像不同的是，脑电图是便携式的、可移动的，甚至可以无线使用，这些特性可以改善任何BCI。

由大脑活动指导的机器学习

近年来，机器学习和认知神经科学之间的交叉和重叠有了显著的增加。深度学习方法被用于神经反应预测[27]、[28]、[29]，反过来，生物启发的机制如编码理论[11]、工作记忆[30]和注意力[31]、[32]被越来越多地采用。然而，到目前为止，人类的认知能力似乎仍然过于复杂，无法通过计算来理解，而数据驱动的“逆向工程”方法可能是告知和推进人工智能[33]的最佳方式。在这种情况下，最近的研究使用了神经活动数据来约束模型训练。例如，在我们最近的工作[3]中，我们将通过深度前馈模型学习到的视觉特征映射到直接从脑电图数据中学习到的大脑特征，以执行自动视觉分类。[34]的作者使用功能磁共振成像数据来偏向机器学习算法的输出，并推动其利用在视觉皮层中发现的表征。这项工作类似于第一个方法依赖大脑活动数据执行视觉分类[35]，区别前者，即[34]，明确利用神经活动来衡量训练过程（类似于[36]），而后者，即[35]，提出了一个内核对齐算法融合视觉分类器的决策与大脑数据。

在本文中，我们提出了这两个领域之间的互联：我们不是使用神经数据作为信号来衡量计算学习的表示，而是学习图像和相应的神经活动之间的映射，这样视觉模式就以一对一的方式与神经过程联系起来。正如我们在实验结果中所展示的那样，这种映射可能会揭示更多关于大脑表征的信息，并能够以一种更内在和更全面的方式来指导训练过程。因此，我们的方法不仅仅是一种受到神经数据启发或约束的混合机器学习方法，而是一种隐式地发现计算表征、视觉模式和大脑表征之间的相似性，并使用它们来执行视觉任务的方法。

多模态学习

我们的研究利用了多模态学习。我们利用了这样一个事实，即现实世界的信息来自多种模式，每一种模式都携带着不同但同样有用的内容，用于构建智能系统。特别是多模态学习方法[37]，[38]，[39]，试图通过寻找一个联合表示来学习嵌入，该表示跨多种模式对刺激的真实特征进行编码，以创建输入数据的共同概念。一个有效的联合表示必须保持两个模态内的相似性(例如，两个相似的图像在联合空间中应该有接近的向量表示；同样地，两个等价的文本描述也应该有相似的表示形式)和模态间的相似性（例如，一个图像和一个描述该图像内容的文本在联合空间中应该比一个图像和一个不相关的文本片段更接近）。根据这一特性，大多数方法发现视觉数据与文本[39]、[40]、[41]、[42]或音频[43]、[44]、[45]、[46]之间的对应关系，以支持区分任务（如分类）或基于另一种条件的一种模态的预测（如图像合成或检索）。对于前一种方法，标题和标签已被用于提高浅层和深度分类器[42]，[47]的准确性。类似地，[44]使用音频来监督视觉表征；[45]，[46]使用视觉来监督音频表征；[48]使用声音和视觉共同监督；[43]通过分析运动和语义线索来研究如何分离和定位视频中的多个声音。其他的工作，则专注于预测一种模式和另一种模式中缺失的数据，例如，从图像中生成文本描述，反之亦然，[49]，[50]，[51]，[52]，[53]。里德等人。在[52]中，提出了一个联合表示空间来条件生成对抗网络(GANs)，以从文本描述中合成图像。类似地，曼西莫夫等人。[53]合成图像从文本标题使用一个变分自动编码器。在我们最近的论文[54]中，我们使用从大脑信号学习到的嵌入，在大脑图像中使用GANs和变分自动编码器来合成图像。

在本文中，我们的方法受到了学习共享多模态表示的方法的启发，但有几个关键的区别。首先，我们使用的一种模态之一是大脑活动数据(EEG)，它几乎可以肯定比当时的文本/音频更嘈杂。这使得发现视觉（图像）和大脑模式之间的关系变得更加困难。从这个意义上说，我们的方法旨在提高预测的准确性，并作为一种知识发现工具来发现大脑过程。因此，我们的主要目标是学习一个可靠的联合表征，并探索学习空间，以寻找视觉和大脑特征之间的对应关系，从而揭示大脑表征；反过来，这些都可以用来建立更好的深度学习模型。

此外，提出的深度多模态网络，由两个编码器（每个模态一个），训练在暹罗网络（ siamese configuration）和采用损失函数强制学习嵌入代表样本之间的差异，而不仅仅是类间的区别特征（例如，在[52]）。

暹罗网络（siamese net）：两个CNN，通过对上下两个模型输出的向量做欧氏距离计算，就能得到输入两幅图像的相似度

视觉-脑特征的多模态学习

神经活动（由脑电图记录）和视觉数据有非常不同的结构，找到一个共同的表征并不是简单的。[3]之前的方法试图通过训练个体模型来找到这种表征：例如，首先通过训练脑电图信号的循环分类器来学习大脑表征，然后训练CNN将视觉特征回归为对应的脑电图/图像对。虽然这提供了有用的表示，但学习到的特征的效用与用于计算初始表示的代理任务密切相关（例如图像分类)，并更注重学习分类鉴别特征，而不是寻找脑电图和视觉模式之间的关系。

因此，我们认为，从人类神经信号和图像到公共空间的任何转换，都应该通过最大化每个输入表示的嵌入之间的相似性来共同学习。为此，我们定义了一个暹罗网络，用于使用深度编码器学习脑电图信号和图像之间的结构化联合嵌入，并最大限度地衡量两种模式之间的相似性。我们的模型的体系结构如图1所示。（暹罗网络学习联合大脑图像表示。其思想是通过最大化每个输入表示的两个嵌入之间的兼容性函数来学习空间。给定一个受试者的图像与相关脑电图之间的正匹配，以及同一脑电图与不同图像之间的负匹配，训练网络以确保相关脑电图/图像对比不相关的网络具有更接近的相似性（更高的兼容性））

编码器的架构

时间块首先沿着时间维度，通过对每个信道独立地应用一维卷积来处理输入信号，其双重目的是提取显著特征和减小输入信号的大小。为了能够在多个时间尺度上捕获模式，时间块内部包含一组具有不同核膨胀值[55]的一维卷积，然后将其输出映射连接起来。时间块的作用是提取代表每个通道内重要的时间模式的信息。

空间块的目的是通过在信道维度上应用一维卷积，在相应的时间间隔内寻找不同信道之间的相关性。

为了阐明这一方面，请注意，大小为C**L的输入EEG信号（C为通道数，L为时间长度）将由时间块转换为大小为F =C* *L_T的张量，F为串联特征映射的数量，L_T为“新”时间维度，在应用一维卷积之后。这个张量的每个元素都不会暂时对应于原始信号中的单个样本，但它将“覆盖”一个特定的时间接受域，这取决于核的大小和扩张。然后，空间块对LT维度中每个元素的特征和通道维度进行操作，目的是在相应的时间（在多个尺度上）分析空间相关性。与时间块类似，空间块也由多个一维卷积层组成，其输出是连接起来的。在这种情况下，对信道尺寸进行排序，以便在信号矩阵中连续附加信道的“行”（根据图5所示的10-20个布局），每个空间一维卷积以不同的核大小运行。在时间和空间块中的所有卷积层之后是批标准化和ReLU激活。

一旦模型在时间和空间维度上独立工作，最终的残差块，由一组残差层[56]组成，对时空表示进行二维卷积，以从信号中找到更复杂的关系和表示。每个残余层在相加输入之前执行两个卷积(通过批归一化和ReLU激活)。然后将输出提供给最后的卷积层，然后是一个全连接的层，其具有与关节嵌入尺寸相同的大小。

首先对该编码器进行脑电图分类测试，在全连接的编码器之后适当地添加一个softmax层，以理解其从神经数据中解码视觉信息的能力（见第7.3节）。然后，使用前面介绍的暹罗模式来训练编码器。

图像分类与显著性检测

我们的暹罗网络（siamese net）学习视觉和脑电图嵌入，以最大化图像和相关的神经活动之间的相似性。我们可以利用学习到的流形来执行视觉任务。在认知神经科学中，有一致的证据表明：a)大脑活动记录包含关于视觉物体类别的信息（也在[3]中显示），b)注意影响视觉信息的处理，甚至在灵长类视觉皮层[57]视觉信息的最早区域。特别是，自下而上的感觉信息和自上而下的注意机制似乎融合在一个整合的显著性地图中，进而分布在整个视觉皮层。因此，视觉刺激下的脑电图记录应同时编码视觉类别和显著性信息。然而，对于图像分类我们可以简单地使用训练有素的编码器作为特征提取器的后续分类层（见性能评估第7节），而对于显著性检测我们设计了一个基于多尺度抑制的方法，灵感的方法识别像素相关CNN神经元激活（例如，[58]），分析兼容性措施F（1）的波动。这个想法是基于测量在多个尺度上抑制图像补丁时，大脑-视觉兼容性的变化。事实上，图像中最重要的特征是，当图像被抑制时，会导致相应的神经活动信号的最大下降（通过将脑电图/图像对输入前一节提出的暹罗网络计算）。因此，我们在多个尺度上使用兼容性变化来进行显著性检测。注意，对于这种工作方法，EEG编码器必须学会识别与观察图像中特定视觉特征相关的模式，以便这些特征的缺失反映在联合嵌入空间上较小的相似性分数上

显著性检测方法如图3所示

视觉相关的大脑过程

虽然显著性检测方法研究了图像的改变如何反映兼容性分数，但更有趣的是分析神经模式如何作用于学习到的表征。事实上，遵循以下原则，即当最重要的视觉特征被掩盖时，兼容性可以发现很大的变化，同样，当我们从神经活动信号中删除“重要”（从视觉特征-匹配角度）成分时，我们可能会期望兼容性下降。执行这种分析传统上需要结合大脑信号模式的先验知识和手动分析：例如，在监测已知与特定大脑过程相关的事件相关电位（ERPs）出现的同时，调查所提供刺激的效果是常见的。当然，以这种方式提出问题仍然要求被观测过程至少部分已知，这使得自动检测先前未知的信号模式变得复杂。相反，联合表征通过分析输入的兼容性变化，可以很容易地将大脑信号与视觉刺激联系起来。因此，与显著性检测类似，我们可以识别出大脑活动中传递视觉信息的空间成分。

如第2节所述，人类的物体识别是通过跨皮层区域的形状和特征信息的多层次聚合来完成的，从而产生一种分布式表征，可以很容易地适应接收到的刺激上的各种任务。由于这些原因，理解这种分布式表征是如何在大脑皮层的空间上定位的，是迈向成功模拟人类视觉系统的基本一步。为了评估每个脑电图通道（以及相应的脑区）的重要性，我们利用学习到的关节嵌入空间来“滤波”（具体过程如下），从脑电图信号中获取通道，并测量图像与滤波信号之间兼容性的相应变化。

最后，由于在单个脑电图/图像对上计算的通道重要性分数本身可能并不显著，无法得出一般结论，因此我们将通道重要性的定义扩展到多个数据样本上，其中，对所有数据集样本（或其子集，例如，当按类分组时）计算期望。

解码大脑表征

然后，我们定义了一对(e,v)的特征(l,f)和通道c之间的关联如下：

我们考虑通道c和特征(l,f)“相关”，在去除该通道的(e,v)对的内在重要性分数后，对通道c的兼容性的变化没有变化，这意味着编码表示中没有视觉组件是不匹配的。

我们可以通过平均该层中的所有特征来估计通道c和层l之间的关联

所得到的分数提供了一个有趣的指示，表明在计算模型中，在某一层计算出的特征与大脑在特定头皮位置处理的特征有多相似。

最后，对于通道重要性评分，我们可以通过对整个数据集的平均来计算一般关联得分

结论

在这项工作中，我们提出了一种多模态的方法来学习一个联合特征空间的图像和脑电图信号记录（用户看到的屏幕上的图片）。我们在暹罗配置中训练了两个编码器，并最大化了相应图像和脑电图之间的兼容性得分。学习到的嵌入使表示有用的执行几个计算机视觉任务，由大脑活动监督。

我们的实验显示了神经活动可以可靠地用于推动图像分类和显著性检测方法的发展。除了推进与脑引导图像分类-[3]相关的工作外，我们的方法还提供了一种从脑电图数据中提取神经表征，并将其映射到最重要/最显著的视觉特征的方法。

虽然从这些发现一般认知神经科学结论不是这项工作的主要目标，鉴于小规模的认知实验，我们提出一个基于人工智能的策略，似乎产生可靠的近似大脑表示和相应的头皮活动，通过共同学习一个模型，最大化神经活动和视觉图像之间的相关性。

这项工作在未来的自然扩展是进一步研究这些关联，目的是找到脑电图信号和视觉模式之间更精细的对应关系——例如，通过识别大脑活动中对应于特定物体、模式或不同特异性类别的不同反应。我们相信联合研究结合人工智能（通过发展更复杂的方法）和神经科学（通过更定制和大规模的实验）是必要推进这两个领域，通过研究大脑过程与人工模型结构，反过来，使用发现神经动力学提出新的神经结构使计算模型更接近人类感知和认知性能。

（因为一些公式太难编辑，所以有的部分直接贴图片啦，实验部分太多了，没有细看