深度学习多模态融合_多模态深度学习：用深度学习的方式融合各种信息

作者：Purvanshi Mehta

编译：ronghuaiyang

原文链接多模态深度学习：用深度学习的方式融合各种信息mp.weixin.qq.com

导读

使用深度学习融合各种来源的信息。

多模态数据

我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些多模态的信号。

例如，图像通常与标签和文本解释相关联，文本包含图像，以更清楚地表达文章的中心思想。不同的模态具有非常不同的统计特性。

多模态深度学习

虽然结合不同的模态或信息类型来提高效果从直观上看是一项很有吸引力的任务，但在实践中，如何结合不同的噪声水平和模态之间的冲突是一个挑战。此外，模型对预测结果有不同的定量影响。在实践中最常见的方法是将不同输入的高级嵌入连接起来，然后应用softmax。

多模态深度学习的例子，其中使用不同类型的神经网络提取特征这种方法的问题是，它将给予所有子网络/模式同等的重要性，这在现实情况中是非常不可能的。

所有的模态对预测都有相同的贡献

对网络进行加权组合

我们采用子网络的加权组合，以便每个输入模态可以对输出预测有一个学习贡献(Theta)。

我们的优化问题变成-

对每个子网络给出Theta权值后的损失函数。

将权值附加到子网后预测输出。

把所有的都用起来！

准确性和可解释性

我们在两个现实多模态数据集上得到了SOTA：

Multimodal Corpus of Sentiment Intensity(MOSI) 数据集 —— 有417个标注过的视频，每毫秒标注的音频特征。共有2199个标注数据点，其中情绪强度定义为从strongly negative到strongly positive，线性尺度从- 3到+3。

模态包括：

1、文本

2、音频

3、语言

每种模态对情绪预测的贡献量

Transcription Start Site Prediction(TSS)数据集 —— Transcription是基因表达的第一步，在这一步中，特定的DNA片段被复制到RNA (mRNA)中。Transcription起始位点是transcription开始的位置。DNA片段的不同部分具有不同的特性，从而影响其存在。我们将TSS分为三个部分：上游DNA

下游DNA

TSS位置

我们取得了前所未有的改善，比之前的最先进的结果3%。使用TATA box的下游DNA区域对这一过程影响最大。

—END—

深度学习多模态融合_多模态深度学习：用深度学习的方式融合各种信息相关推荐

深度学习多模态融合_多模态深度学习综述.PDF
多模态深度学习综述.PDF 37 6 Vol. 37 No. 6 第卷第期计算机应用研究录用定稿 Application Research of Computers Accepted Pape ...
python深度学习include框架_《用Python实现深度学习框架》上市
朋友们,<用Python实现深度学习框架>已经由人民邮电出版社出版上市了.在这本书中,我们带领读者仅用Python+Numpy实现一个基于计算图的深度学习框架MatrixSlow.本书讲解 ...
基于python的深度学习框架有_《用Python实现深度学习框架》上市
朋友们,<用Python实现深度学习框架>已经由人民邮电出版社出版上市了.在这本书中,我们带领读者仅用Python+Numpy实现一个基于计算图的深度学习框架MatrixSlow.本书讲解 ...
深度学习算法原理_用于对象检测的深度学习算法的基本原理
深度学习算法原理 You just got a new drone and you want it to be super smart! Maybe it should detect whether ...
深度学习狗图片_狗品种分类的深度学习
深度学习狗图片深度学习 (Deep Learning) Stuck behind the paywall? Click here to read the full story with my fri ...
深度学习数据扩张_适用于少量数据的深度学习结构
作者:Gorkem Polat 编译:ronghuaiyang 导读一些最常用的few shot learning的方案介绍及对比. 传统的CNNs (AlexNet, VGG, GoogLeNet ...
深度学习课程大纲_一份639页深度学习：Deep Learning硬核课程PPT
课程名称: Deep Learning 课程地址: https://github.com/glouppe/info8010-deep-learning#info8010---deep-learning ...
怎么学习python自动化_会python基础，如何学习自动化办公？
这个我会! 我也是在有了点python基础之后开始学习自动化办公的,毕竟有时候要处理的表格太烦人了,重复的操作太多,所以我也想到了学习使用python来进行自动化办公. 说到自动化办公.无非就是对一些 ...
如何将原图和json融合_双曲知识嵌入：如何将知识“融合”带入新空间？
知识图谱作为人类知识的结构化数据,是构建人工智能的基石.然而目前的知识图谱都是不完备的,所以需要将多个知识图谱融合以获得更完备的知识库.基于表示学习的知识关联作为知识图谱融合的新方法受到了许多关注.但 ...

深度学习多模态融合_多模态深度学习：用深度学习的方式融合各种信息

深度学习多模态融合_多模态深度学习：用深度学习的方式融合各种信息相关推荐

最新文章

热门文章