An Efficient Approach to Informative Feature Extraction from Multimodal Data

文章目录

摘要
简介
- HGR
- 与基于CCA的方法的联系
- 限制
Soft-HGR
- HGR的最优特征转换
- 替换：低秩矩阵近似
- Soft_HGR的目标函数
- 优化
- 推广到多模态、缺失模态的数据

论文题目：An Efficient Approach to Informative Feature Extraction
from Multimodal Data

作者：Tsinghua-Berkeley Shenzhen Institute, Tencent AI Lab,Department of EECS, Massachusetts Institute of Technology

时间：2018

论文链接：https://arxiv.org/abs/1811.08979
Github链接：https://github.com/GuyHacohen/curriculum_learning

摘要

本文主要提出了一个新颖的从多个数据模态中提取有用的特征的框架Soft-HGR。

解决了HGR的严格的whitening constrains

并进一步推广到处理两个以上模态和确实模态的数据

实验表明，我们的方法可以学习更多信息的特征映射，可以实现更有效的优化。

简介

辨别多模态数据之间的关系对于机器来说是很难的。现有的方法有CCA、欧氏距离最小化、强行执行部分命令等。
HGR maximal correlation是Pearson correlation的一个推广，用来计算合理性是非常合理的。很多时候被用来处理多模态数据。
但是HGR有两个限制，第一，whitening constraints，即要求每个特征要严格不相关，从而来保持正交几何性质，计算复杂，高维出现稳定性问题。第二，辨别力没有被显式计算出来，而只有所有的辨别信息恰好落在一个共同的子空间的时候，下游监督任务才能得到想要的表现。因此当模态数据弱相关时，潜在的辨别信息很有可能被忽略，从而导致性能下降。

我们的贡献：

我们在HGR maximal correlation的基础上提出了Soft-HGR，来从多模态数据提出有用特征。目标函数简单容易实现。
我们提出没有显示的whitening constraint的可替代策略来学习HGR转换。这样的优化更有效和更有可信度。
我们推广我们的框架去处理大于两个模态和缺失模态的数据，在半监督任务中加入可区别信息。

HGR

与基于CCA的方法的联系

基于CCAde方法与HGR有相似的目标函数，除了它们的转换函数严格为某一形式。CCA在线性Hilbert空间找特征映射，Kernel CCA在再生kernel Hilbert空间找特征映射，Deep CCA中的f,g用深度神经网络来实现，可接近HGR。

限制

HGR的一个限制是它的whitening constraint给优化带来了高的计算复杂度，现在的方法是使协方差矩阵为一个单位阵来进行去相关化。

Soft-HGR

HGR的最优特征转换

通过变量替换，HGR最大相关的目标函数可以写成：

其中

那么最优解为

替换：低秩矩阵近似

这个没有对COV(f)，COV(g)的限制。

Soft_HGR的目标函数

这里的第二项（关于COV）就是用软的优化来代替了白化的限制。

优化

推广到多模态、缺失模态的数据

Soft_HGR的核心思想是找到由两种模态数据决定的矩阵的B的近似。对于多模态数据，我们可以优化每一对模态组成的矩阵B，于是可以做一个关于每一对的求和最大化。

缺失模态的话，E的计算就是用样本，COV的计算决定于边缘分布，可以直接计算。