图文多模态公开数据集归纳（图文情感分类、图文检索）｜有中英文文本、含下载地址
我最近在研究图文多模态的公开数据集，本文总结了图文多模态常用的公开数据集。这里没有记录小数据集（不到2千张图级别的，有较高引用的有 IAPS 和 GAPED，微博）和 与业务相关性低的（艺术场景，如 ArtPhoto）。
| 任务 | 数据集 | 论文 | 中文or 英文 |
|---|---|---|---|
| 图文情感分类 | Yelp | VistaNet | 英文 |
| 图文情感分类 | Tumblr | Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning | 英文 |
| 图片情感分类 | FlickrLDL, TwitterLDL | Learning visual sentiment distributions via augmented conditional probability neural network | 英文 |
| 图片情感分类 | emotion6 | Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark | 英文 |
| 图片情感分类 | Multi-ZOL | Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis | 中文 |
| 电商图文检索 | MUGE | Wukong | 中文 |
| 图文检索 | Flickr8k-CN、Flickr3k-CN | 中文 | |
| 图文检索 | COCO-CN | 中文 | |
| 图文检索 | AICICC-CN | 中文 |
1. Yelp数据集
- 数据内容：来自Yelp.com评论网站，收集的是北美8个大城市关于餐厅和食品的评论。
- 数据集规模：一共有44305条评论，244569张图片，平均每条评论有13个句子，230个单词。一文3图 （每张图片是与商户 id 关联的）
- 数据集的情感标注：每条评论的情感倾向对应 1,2,3,4,5五个分值。不是直接来自文本的分析，而是写评论的用户打分，认为打分高的用户正向
- 下载地址：收集不易，有用点个赞叭～
- 如何使用，开源地址：vistanet
2. Tumblr 数据集
- 数据内容：从 Tumblr app 收集来的多模态情绪 gif 数据集。Tumblr的用户在上面发布的多媒体内容通常包含：图片、文本和标签。数据集是根据选定的十五种情绪搜索对应的情绪标签的推文，并且只选择其中既有文本又有图片的部分，然后进行了数据处理，删除了那些文本中原本就包含对应情绪词的内容，以及那些主要不是英文为主的推文。
- 数据集规模：79,451 训练, 10,651 验证，11,310 测试。每个 gif 有 1-3句文字描述。
- 数据集的情感标注：包含高兴，悲伤，厌恶在内的十五种情绪描述。
- 下载地址：收集不易，有用点个赞吧～^ ^
- 使用，开源地址：Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning
3. FlickrLDL, TwitterLDL 数据集
- 数据内容：论文为验证自己的模型构造的数据集，只有图片及对应的情绪标签。
- 数据集规模：TwitterLDL 数据集 10,045 条数据，FlickrLDL 是 Flickr的子集有 11,150 条数据。
- 数据集的情感标注：开心，生气，恶心等等8个标签，有11个人标注，得到标签分布如下图所示。
- 下载地址，开源地址：Joint Image Emotion Classification and Distribution Learning via Deep Convolutional Neural Network
4. Multi-ZOL 数据集
- 数据内容：主要是zol 中关村在线网站的电商图片，是论文作者自己爬取的手机类目图片。中文文本，存在一文多图。
- 数据规模：28K 图文数据
- 数据的情感标注：0 到 10 整数情感打分
- 下载地址、开源地址：MIMN
5. MUGE 数据集
- 数据内容：多模态理解和生成评估 (MUGE) 是一组跨模态理解和生成任务以及排行榜，供研究人员训练和评估其多模态系统。到目前为止，MUGE 包括： 多模态理解和生成任务的基准，包括电子商务图像字幕、文本到图像生成和多模态图文检索任务，供研究人员跟踪其模型性能的公共排行榜。
- 数据规模：MUGE是指三个任务对应的三个数据集，分别是ECommerce-IC (E-commerce Image Caption Dataset)，ECommerce-T2I (E-commerce Text to Image Dataset) 和 Multimodal Retrieval Dataset
- 下载地址：我看看是谁白嫖不点赞 口亨～生气气
图文多模态公开数据集归纳（图文情感分类、图文检索）｜有中英文文本、含下载地址相关推荐
- 循环神经网络实现文本情感分类之使用LSTM完成文本情感分类
循环神经网络实现文本情感分类之使用LSTM完成文本情感分类 1. 使用LSTM完成文本情感分类 在前面,使用了word embedding去实现了toy级别的文本情感分类,那么现在在这个模型中添加上L ...
- 163种中草药(中药材)数据集说明(含下载地址)
163种中草药(中药材)数据集说明(含下载地址) 目录 163种中草药(中药材)数据集说明(含下载地址) 1. Chinese-Medicine-163数据集说明 2. Chinese-Medicin ...
- UA-DETRAC BITVehicle车辆检测数据集(含下载地址)
UA-DETRAC BITVehicle车辆检测数据集(含下载地址) 目录 UA-DETRAC BITVehicle车辆检测数据集使用说明和下载 一.车辆检测数据集介绍 1. UA-DETRAC车辆检 ...
- PaddlePaddle飞桨《高层API助你快速上手深度学习》『深度学习7日打卡营』--自定义数据集OCEMOTION–中文情感分类
赛题背景 自从2017年具有划时代意义的Transformer模型问世以来,短短两年多的时间内,如雨后春笋般的出现了大量的预训练模型,比如:Bert,Albert,ELECTRA,RoBERta,T5 ...
- 点微西瓜同城分类信息系列打包整套discuz插件 - 含下载地址
iscuz点微西瓜同城分类信息系列打包整套插件(35个插件) ①[西瓜]分类信息 轻松打造本地微信同城分类信息平台,红包朋友圈传播. ②[西瓜]同城商圈 同城分类信息提供商家功能.在推广信息的同时可以 ...
- 中文文本情感分类及情感分析资源大全
摘要:20世纪初以来,文本的情感分析在自然语言处理领域成为了研究的热点,吸引了众多学者越来越多的关注.对于中文文本的情感倾向性研究在这样一大环境下也得到了显著的发展.本文主要是基于机器学习方法的中文文 ...
- 自然语言处理课程作业 中文文本情感分类
摘要:20世纪初以来,文本的情感分析在自然语言处理领域成为了研究的热点,吸引了众多学者越来越多的关注.对于中文文本的情感倾向性研究在这样一大环境下也得到了显著的发展.本文主要是基于机器学习方法的中文文 ...
- 深度学习之循环神经网络（5）RNN情感分类问题实战
深度学习之循环神经网络(5)RNN情感分类问题实战 1. 数据集 2. 网络模型 3. 训练与测试 完整代码 运行结果 现在利用基础的RNN网络来挑战情感分类问题.网络结构如下图所示,RNN网络共两 ...
- 深度学习在情感分类中的应用
简介与背景 情感分类及其作用 情感分类是情感分析的重要组成部分,情感分类是针对文本的情感倾向进行极性分类,分类数量可以是二分类(积极或消极),也可以是多分类(按情感表达的不同程度),情感分析在影音评论 ...
最新文章
- 一顿关于心智、机器和智能的哲学大餐！！
- 验算双中心重叠积分程序
- python论坛app_理解python web开发，轻松搭建web app！
- 深入理解JavaScript系列（33）：设计模式之策略模式
- 数据挖掘肿瘤预测_科研套路不嫌多，数据挖掘发3分
- P2787 语文1（chin1）- 理理思维
- 文本光标，高亮选中一些出来
- linux查看数据积压,查看kafka消息队列的积压情况
- JavaScript高级之ECMASript 7、8 、9 、10 新特性
- Ajax（从json中提取数据）
- 为什么软件需要数字签名？代码签名证书的作用
- 计算机的屏幕为什么成黑色,电脑液晶显示器老是黑屏怎么回事
- SQL 查询速度慢原因及优化方法（转载）
- 切片器可以设置日期格式？_excel神器——切片器
- 文献阅读——民间礼仪、王朝祀典与道教科仪：近世闽西四保祭文本的社会文化史阐释-刘永华
- 为Linux发行版安装中文字体
- k8s集群安装之kubeadm
- 快速EDAS字体嵌入问题
- Joomla安装及使用
- Java实现List数据分组