Multi-modal Multi-label Emotion Detection with Modality and Label
Dependence

多模态多标签情感分析

论文引用地址：https://www.aclweb.org/anthology/2020.emnlp-main.291
EMNLP 2020

概要

提出了一种多模态seq2set(MMS2S)方法，同时对模态和标签依赖进行建模

步骤

采用了三种基于Transfomer的单模态编码器来捕捉文本、视觉和声学模式的单模态特性
给定的情感表示处理来自情感解码器内部编码器的三个模态内序列，并利用Multi-head soft modality attention控制不同模式对每个潜在情感预测的不同贡献
通过最大化顶级K序列的概率来训练模型，并通过找到最有可能的情绪标签集来预测所有潜在的情绪标签

数据预处理

GloVe单词嵌入用于表示来自手工转录本的单词。然后，我们得到文本序列
Facet1用于提取一组视觉特征，包括面部动作单元、面部地标、头部姿势、凝视跟踪和HOG特征
COVAREP提取声学特征，包括12个Mel频率倒谱系数(MFCCs)、音调、浊音/无音分割特征(Drugman和Alwan，2011年)、声门源参数(Drugman等人，2012年)、峰值斜率参数和最大色散商数(Kane和Gobl，2013年)。然后，得到了具有维数的声序列

MMS2S

利用三个序列上的多头模态注意来控制不同模态信息在特征矩阵的每个步骤中的不同贡献

算法

Training

Testing

数据集

CMU-MOSEI

数据集地址：https://github.com/melanchthon19/multimodal_cnn/tree/master/data

对比

multi-label Accuracy (Acc),
Hamming Loss (HL)
and micro F1 measure (F1)

多模态多标签情感分析相关推荐

面向社交媒体的多模态属性级情感分析研究
每天给你送来NLP技术干货! 分享嘉宾:虞剑飞南京理工大学副教授编辑整理:路人复旦大学出品平台:DataFunTalk 导读:随着社交网络的飞速发展,人们在以微博.Twitter为代表的社交 ...
多模态语义分析_情感分析、多模态NLP、多语言翻译...这场NLP知识盛宴不可错过！...
AI科技评论按:2020年12月20日,由中国计算机学会自然语言处理专业委员会(CCF-NLP)发起,联合AI研习社及各个知名高校开展的"CCF-NLP走进高校"系列高校NLP研究 ...
AAAI 2021 | 情感分析最新进展解读
图片来源:网络作者:陆鑫,赵妍妍,秦兵单位:哈尔滨工业大学情感分析是自然语言处理中的一个重要研究领域,其相关应用在各种真实场景中发挥着重要作用. 近年来,基于深度学习的方法逐渐成为情感分析的主流 ...
【CIPS 2016】(8-10章)信息抽取、情感分析自动文摘 (研究进展、现状趋势)
CIPS 2016 笔记整理 <中文信息处理发展报告(2016)>是中国中文信息学会召集专家对本领域学科方向和前沿技术的一次梳理,官方定位是深度科普,旨在向政府.企业.媒体等对中文信息 ...
图像情感分析标签分布学习
现实生活中,有部分分类问题相比起预测单标签,更需要预测多个标签或者样本关于各个标签的概率分布,也就是各标签对该样本的描述程度. 例如,对于图像情感分类任务而言,由于一张图像往往包含多种情感倾向,且不同 ...
读文章笔记（八）：多模态情感分析数据集整理
读文章笔记(八):多模态情感分析数据集(Multimodal Dataset)整理双模态(一般是文本.图像和语音的两两组合) 三模态(一般是文本.图像加语音) 作者:骑着白马的王子地址:https ...
【NLP】文献翻译5——用自我监督的多任务学习学习特定模式的表征，用于多模态情感分析
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal S ...
读文章笔记（七）：赛尔笔记 | 多模态情感分析简述
读文章笔记(七):多模态情感分析简述相关任务概览数据集和方法面向图文的情感分类任务面向图文的方面级情感分类任务赛尔笔记 | 多模态情感分析简述 https://zhuanlan.zhihu. ...
【论文速递】EMNLP2022-随机模态缺失情况下的多模态情感分析
[论文速递]EMNLP2022-随机模态缺失情况下的多模态情感分析 [论文速递] EMNLP2022-EMMR:Mitigating Inconsistencies in Multimodal Sen ...

多模态多标签情感分析

多模态多标签情感分析

概要

步骤

数据预处理

MMS2S

算法

数据集

对比

多模态多标签情感分析相关推荐

最新文章

热门文章