读文章笔记（八）：多模态情感分析数据集（Multimodal Dataset）整理

双模态（一般是文本、图像和语音的两两组合）
三模态（一般是文本、图像加语音）

作者：骑着白马的王子
地址：https://www.zhihu.com/people/pi-pi-57-67
公众号：人工智能前沿讲习https://mp.weixin.qq.com/s/rWRJ8taUsIQAZFq3PD1-ng

双模态（一般是文本、图像和语音的两两组合）

1.《Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Model》–【多模态讽刺识别】2019年。
论文中建立的数据集，包含文本和图像两个模态，具体来说是三个模态，文本部分包含两个方面：一个是描述（文本模态），另一个是图像的属性，即图像包含那些东西，用文字描述（也可以归类为属性模态）。数据集较好之处是给出了原始数据，即有原始的文本，原始的图像和属性描述，可以任意操作成实验表征。

数据集和代码链接是https://github.com/headacheboy/data-of-multimodal-sarcasm-detection

2.《 Making the v in vqa matter: Elevating the role of image understanding in visual question answering》–【多模态问答】2017年。

论文中是VQA数据集，包括原始的图片、问答文本等各种属性。我们简单的可以通过word2vec或者Glove或者bert提取文本的embedding，通过Resnet来提取图片的feature，图片问题和回答三个方面通过对应的id来联系。

数据集下载链接在https://visualqa.org/download.html

3.《Towards Multimodal Sarcasm Detection(An Obviously Perfect Paper)》–【多模态讽刺】2019年。

论文给的是图像和文本双模态讽刺视频。其中每个标签对应的图像包含多个，对应的文本是一组对话，数据集链接是：https://github.com/soujanyaporia/MUStARD

4.《Microsoft COCO Captions Data Collection and Evaluation Server》–【多模态图片字幕】2015年。

论文给出的是经典的MS COCO数据集，现在还在广泛使用，数据集非常大，大部分设计到纯CV方面的数据集，标注一共分为5类：目标点检测，关键点检测，实例分割，全景分割以及图片标注，前面四个都是CV领域的，感兴趣的同学可以玩一下，简单的多模态方向只需要最后一个，当然如果你要通过目标检测辅助多模态分析等等方向前面几个标注也是有用的。简单的，我们这里需要的是图片和字幕两个模态，可以用来做多模态匹配之类的任务。数据集包括2014年发布的以及2017年发布的，每个都有超过几十万张图片的标注，图片给出的是原始图片，标注是基于JSON文件给出的，也是原始的文本数据，我们只要写出程序将字幕抽取出来就可以了，字幕和图片之间有id对应，非常方便。

数据集链接是：https://cocodataset.org/#download

三模态（一般是文本、图像加语音）

1.《Multimodal Language Analysis in the Wild_ CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph》–【多模态情感和情绪分析】2018年。

论文中描述的CMU-MOSEI数据集规模最大的三模态数据集，且具有情感和情绪两个标签。但是这里要注意，数据集是多标签特性，即每一个样本对应的情绪可能不止一种，对应情绪的强弱也不同，在[-3~3]之间。数据集的原始数据给出了，但是过于原始，即给出的是文本，音频和视频文件，图像还得自己去以固定频率捕获并且和文本语音对其还是比较麻烦的。大多实验都使用处理好的实验数据。

数据集的链接是：http://immortal.multicomp.cs.cmu.edu/raw_datasets/processed_data/

2.《UR-FUNNY: A Multimodal Language Dataset for Understanding Humor》–【多模态幽默分析】2019年。

论文中描述的是UR-FUNNY数据集，包含文本语音图像三个模态来分析幽默情感。具体目前没用到没有细看，日后再补充。

数据集和代码链接是：https://github.com/ROC-HCI/UR-FUNNY

3.《MOSI: Multimodal Corpus of Sentiment Intensity and Subjectivity Analysis in Online Opinion Videos》–【多模态情绪分析】。

论文中描述的是CMU-MOSI数据集，跟上述的CMU-MOSEI数据集名字很像，但是发布较早，规模小且只有情绪的标签。数据集跟MOSEI一样，有处理好的实验数据，但是也有部分原始数据，video部分依然是视频不是已经捕获好的图像。

数据集的链接是：http://immortal.multicomp.cs.cmu.edu/raw_datasets/processed_data/

4.《CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality》–【中文多模态情绪】2020年。

论文中给出常规的文本、图片和语音的数据进行多模态情绪分类，其中标签更加细致，不仅有最终的标签，还有各个模态的标签。

具体如图所示。论文以及数据集具体我还没看，日后需要我将修改更仔细。

数据集链接是：https://github.com/thuiar/MMSA

读文章笔记（八）：多模态情感分析数据集整理相关推荐

【论文速递】EMNLP2022-随机模态缺失情况下的多模态情感分析
[论文速递]EMNLP2022-随机模态缺失情况下的多模态情感分析 [论文速递] EMNLP2022-EMMR:Mitigating Inconsistencies in Multimodal Sen ...
【NLP】文献翻译5——用自我监督的多任务学习学习特定模式的表征，用于多模态情感分析
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal S ...
读文章笔记（七）：赛尔笔记 | 多模态情感分析简述
读文章笔记(七):多模态情感分析简述相关任务概览数据集和方法面向图文的情感分类任务面向图文的方面级情感分类任务赛尔笔记 | 多模态情感分析简述 https://zhuanlan.zhihu. ...
多模态情感分析研究综述论文笔记
这里写目录标题论文标题引言论文学术结构 1.总体介绍 2.介绍叙述式多模态情感分析 3.介绍交互式多模态情感分析 4.多模态情感分析存在的交互建模科学问题 5.结束语阅读论文初体验思维导图 ...
读文章笔记（十三）：多模态特征融合方法总结
读文章笔记(十三):多模态特征融合方法总结来源于:多模态特征融合方法总结多模态特征融合的方法大体分为三种:前端融合.中间融合和后端融合.
每周论文清单：高质量文本生成，多模态情感分析，还有一大波GAN | PaperDaily #26
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
读文章笔记（十）：多任务学习
读文章笔记(十):多任务学习多任务学习优点多任务学习方法 hard parameter sharing soft parameter sharing 多任务学习改进的方向注意事项来源于公众号: ...
（五十二）：多模态情感分析研究综述_张亚洲
(五十二):多模态情感分析研究综述_张亚洲 Abstract 1 叙述式多模态情感分析 1. 1 静态多模态情感分析(文本与图像划分为静态文档) 1. 1. 1 基于机器学习的方法 1. 1. 2 基 ...
多模态情感分析论文解读——CTFN模型
论文:CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Ne ...

读文章笔记（八）：多模态情感分析数据集整理

读文章笔记（八）：多模态情感分析数据集（Multimodal Dataset）整理

双模态（一般是文本、图像和语音的两两组合）

三模态（一般是文本、图像加语音）

读文章笔记（八）：多模态情感分析数据集整理相关推荐

最新文章

热门文章