【对话生成】常见对话生成数据集整理，含下载链接（持续更新）

  • 前言
  • 用于对话理解的对话数据集
    • IEMOCAP
    • SEMAINE
    • Mastodon
    • MELD
    • EMOTyDA
    • MEmoR
    • M3^33ED
    • CPED
  • 常规开放域对话数据集
    • OpenSubtitles
    • Cornell Movie-Dialogs
    • STC
    • Ubuntu Dialogue Corpus
    • Douban Conversation Corpus
    • LCCC
    • OpenViDial
    • PchatbotW
    • WDC-Dialogue
    • EVA2.0
    • 待更新
  • 情感对话数据集
    • DailyDialog
    • ESTC
    • EMPATHETICDIALOGUES
    • ESConv
    • CPED
    • 待更新
  • 个性对话数据集
    • PERSONA-CHAT
    • PersonalDialog
    • CPED
    • 待更新
  • 策略控制对话生成
    • PsyQA
    • 待更新
  • 个性情感对话生成
    • CPED

前言

本文主要整理对话生成领域相关的数据集，尤其是开放域对话生成。当前可以把开放域对话生成任务划分为：传统开放域对话生成、多模态对话生成、情感对话生成、个性化对话生成、策略控制对话生成等。笔者的划分是根据自己对该任务研究进展梳理而得到的理解，并不一定合理。

用于对话理解的对话数据集

IEMOCAP

发布时间：2008年
论文链接：https://link.springer.com/article/10.1007/s10579-008-9076-6
数据集链接：https://sail.usc.edu/iemocap/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：IEMOCAP主要用于对话情感识别，包含151个对话、7433个语句、10个对话角色、10种情感标签。

SEMAINE

发布时间：2012年
论文链接：https://ieeexplore.ieee.org/document/5959155
数据集链接：https://semaine-db.eu/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：SEMAINE主要用于对话情感识别，由四个固定形象的机器人与人进行对话，标注了4个情感维度：Valence (愉悦度), Arousal (激活度), Expectancy (预期), Power (力量)。Valence表示情感积极的程度，Arousal表示兴奋的程度，Expectancy表示与预期相符的程度，Power表示情感影响力。其中Valence、Arousa和Expectancy为[-1, 1]范围内的连续值，Power为大于等于0的连续值。

Mastodon

发布时间：2018年
论文链接：https://www.aclweb.org/anthology/C18-1063/
数据集链接：https://github.com/cerisara/DialogSentimentMastodon
数据集语言：英文
数据集模态：文本
数据集描述：Mastodon主要用于对话当中的情感与对话动作(DA)识别，尤其是联合识别任务。它包括535个对话、2217个语句，标注了3大类情感标签、27类对话动作(DA)。

MELD

发布时间：2019年
论文链接：https://www.aclweb.org/anthology/P19-1050
数据集链接：https://affective-meld.github.io/
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：MELD主要用于对话中的情感识别，也有部分论文将其用于情感对话生成或者多模态对话生成。它包括1433个对话、13708个语句，提供了3大类粗粒度情感标签以及7种细粒度情感标签。视频被切割成按语句划分的短视频，可以通过语句索引获得该语句对应的视频。

EMOTyDA

发布时间：2020年
论文链接：https://www.aclweb.org/anthology/2020.acl-main.402/
数据集链接：https://github.com/sahatulika15/EMOTyDA
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：EMOTyDA是一个类似于Mastodon的对话数据集，它主要整理了IEMOCAP以及MELD数据集，并且增加了12种常见的对话动作标签，最终包括了1341个对话以及19365个对话语句。可以用于情感和DA的联合识别任务。

MEmoR

发布时间：2020年
论文链接：https://dl.acm.org/doi/10.1145/3394171.3413909
数据集链接：https://github.com/sunlightsgy/MEmoR
数据集语言：英文
数据集模态：视频、音频、文本
数据集描述：MEmoR数据集主要用于多模态情感推理(ER)，包括8536个对话以及22732个语句，提供了14种情感标签并且对64个说话人标注了16PF、Big Five、MBTI三种个性特质用于辅助情感推理。我认为该数据集还可以用于情感对话或者个性化对话任务。

M3^33ED

发布时间：2022年
论文链接：https://aclanthology.org/2022.acl-long.391/
数据集链接：https://github.com/aim3-ruc/rucm3ed
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：与MELD数据集类似，但其数据来源于56部电视剧，人物更加丰富。文章构建了一个大规模高质量的多模态、多场景、多标签情感对话数据集，从56部中文电视剧，大约500集中选取900多个对话片段，并对对话中的每句话进行多情感标签的标注，共标注24,449句话。文章采用主流的6类基本情感标注（高兴、惊讶、伤心、生气、厌恶，害怕）以及正常无明显情感，共7类离散情感。从数据来源选取，对话片段选取，情感标注，标注后处理等方面进行严格把控，以保证数据的质量，最终得到标注者间一致性0.59，高于MELD 的0.43、IEMOCAP的0.48 以及MSP-IMPROV 中的0.49。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

常规开放域对话数据集

OpenSubtitles

发布时间：2009年
论文链接：http://www.lrec-conf.org/proceedings/lrec2016/pdf/947_Paper.pdf
数据集链接：http://nlp.stanford.edu/data/OpenSubData.tar
数据集链接2：https://opus.nlpl.eu/OpenSubtitles-v2018.php
数据集语言：多语言（62种语言）
数据集模态：文本
数据集描述：OpenSubtitles主要用于开放域对话生成，包含2.6 billion语句。

Cornell Movie-Dialogs

发布时间：2011年
论文链接：https://www.aclweb.org/anthology/W11-0609/
数据集链接：http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html
数据集语言：英文
数据集模态：文本
数据集描述：Cornell Movie-Dialogs包含从原始电影脚本中提取的大量元数据丰富的虚构对话集合，10,292 对电影角色之间的 220,579 次对话交流， 涉及 617 部电影中的 9,035 个角色，总共 304,713 条话语。

STC

发布时间：2015年
论文链接：https://www.aclweb.org/anthology/P15-1152/
数据集链接：https://coai-dataset.oss-cn-beijing.aliyuncs.com/STC-corpus.zip
数据集语言：中文
数据集模态：文本
数据集描述：STC是从微博爬取的语料构造的短文本对话(Short-Text Conversation)数据集，包含4.4 million个对话，。这里的数据集下载链接来自项目CDial-GPT。

Ubuntu Dialogue Corpus

发布时间：2015年
论文链接：https://www.aclweb.org/anthology/W15-4640/
数据集链接：https://github.com/rkadlec/ubuntu-ranking-dataset-creator
数据集语言：英文
数据集模态：文本
数据集描述：该数据集包含930,000个对话，7,100,000个语句，平均对话轮次为7.71轮，常用于开放域对话生成。

Douban Conversation Corpus

发布时间：2017年
论文链接：https://www.aclweb.org/anthology/P17-1046/
数据集链接：https://github.com/MarkWuNLP/
数据集语言：中文
数据集模态：文本
数据集描述：Douban数据集主要爬取自中文豆瓣论坛，包含1.1M个对话，7.7M个语句。

LCCC

发布时间：2020年
论文链接：https://arxiv.org/abs/2008.03946
数据集链接：https://github.com/thu-coai/CDial-GPT
数据集语言：中文
数据集模态：文本
数据集描述：LCCC数据集分为base和large两个版本，主要用于预训练大规模对话生成模型，其base版本包括了12M个对话，32.9M个对话语句。

OpenViDial

发布时间：2020年
论文链接：https://arxiv.org/abs/2012.15015
数据集链接：https://github.com/ShannonAI/OpenViDial
数据集语言：英文
数据集模态：图像、文本
数据集描述：OpenViDial 中的数据来自电影与电视剧，使用 OCR 从视频中抽取出对话文本，并配以当前对话所在的图像，因此，每一句话都有相应视觉背景，最终形成包含百万余条句子的大规模多模态对话数据集。其包含了1.1M个对话语句+视觉背景。

PchatbotW

发布时间：2021年
论文链接：https://arxiv.org/abs/2009.13284
数据集链接：https://github.com/qhjqhj00/Pchatbot
数据集语言：中文
数据集模态：文本
数据集描述：PchatbotW主要从微博爬取得到，包括了139,448,339个对话、 278,896,678，并且提供了时间戳和用户ID两种个性信息，可以隐式地建模说话者的个性。

WDC-Dialogue

发布时间：2021年
论文链接：https://arxiv.org/pdf/2108.01547.pdf
数据集链接：https://github.com/thu-coai/EVA
数据集语言：中文
数据集模态：文本
数据集描述：这是一个超大规模的中文对话数据集，其平均轮次为2.1，所以我认为其是单轮对话数据集比较妥当。该数据集包括了1.4B个对话，以及3.0B个语句，其规模可以说是前所未有的大！

EVA2.0

发布时间：2022年
论文链接：https://arxiv.org/pdf/2203.09313v1.pdf
数据集链接：https://github.com/thu-coai/EVA
数据集语言：中文
数据集模态：文本
数据集描述：这是WDC-Dialogue的升级版，包含0.4B个对话，1.1B个语句，与WDC-Dialogue相比，最后的数据集大小为原来的三分之一，但是数据质量提升了很多。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

情感对话数据集

DailyDialog

发布时间：2017年
论文链接：https://www.aclweb.org/anthology/I17-1099/
数据集链接：http://yanran.li/dailydialog
数据集语言：英文
数据集模态：文本
数据集描述：DailyDialog主要包括13118个对话、102K个对话语句，标注了7种情感、4类对话动作(DA)以及10个对话主题。可以用于对话情感识别、对话动作识别任务，以及情感对话生成任务。

ESTC

发布时间：2018年
论文链接：https://arxiv.org/abs/1704.01074
数据集链接：http://coai.cs.tsinghua.edu.cn/hml/challenge2017/
数据集语言：中文
数据集模态：文本
数据集描述：ESTC数据集是在STC数据集的基础上，使用一个训练好的文本情感分类器得到，通过文本情感分类器，自动标注了6类情感标签，常用于中文情感对话生成任务。

EMPATHETICDIALOGUES

发布时间：2019年
论文链接：https://www.aclweb.org/anthology/P19-1534/
数据集链接：https://github.com/facebookresearch/EmpatheticDialogues
数据集语言：英文
数据集模态：文本
数据集描述：EMPATHETICDIALOGUES主要用于共情对话生成，由25000个对话组成，提供了32种情感标签。

ESConv

发布时间：2021年
论文链接：https://arxiv.org/abs/2106.01144
数据集链接：https://github.com/thu-coai/Emotional-Support-Conversation
数据集语言：英文
数据集模态：文本
数据集描述：ESConv包括了1053个对话、31410个语句，提供了7种负向情绪、5个负向情绪问题以及8种情感支持策略。伴随着该数据集诞生的是首次出现的情感支持对话(ESC)任务。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

个性对话数据集

PERSONA-CHAT

发布时间：2018年
论文链接：https://www.aclweb.org/anthology/P18-1205/
数据集链接：https://github.com/facebookresearch/ParlAI/tree/master/projects/personachat
数据集语言：英文
数据集模态：文本
数据集描述：PERSONA-CHAT包括10981个对话以及164356个语句，由1155个人参与对话，每个人指定了至少5句profile句子表示其个性。

PersonalDialog

发布时间：2019年
论文链接：https://arxiv.org/abs/1901.09672
数据集链接：https://github.com/silverriver/PersonalDilaog
Please contact [zhengyinhe1@163.com] for the PersonalDialog dataset
数据集语言：中文
数据集模态：文本
数据集描述：该数据集包括20.83M个对话、56.25M个句子，对于每个说话人，提供了5种个性特征(Age, Gender, Location, Interest, self descriptions)。

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

策略控制对话生成

PsyQA

发布时间：2021年
论文链接：https://arxiv.org/abs/2106.01702
数据集链接：https://github.com/thu-coai/PsyQA
数据集语言：中文
数据集模态：文本
数据集描述：一个用于生成心理健康支持长篇咨询文本的中文数据集，该数据集主要收集了壹心理社区的问答数据，标注了6种助人策略，总共包括了22346个问题以及56063个回复。

待更新

发布时间：
论文链接：
数据集链接：
数据集语言：
数据集模态：
数据集描述：

个性情感对话生成

任务描述见：https://paperswithcode.com/task/personalized-and-emotional-conversation

CPED

发布时间：2022年
论文链接：https://arxiv.org/pdf/2205.14727v1.pdf
数据集链接：https://github.com/scutcyr/CPED
数据集语言：中文
数据集模态：视频、音频、文本
数据集描述：该数据集来自论文CPED: A Large-Scale Chinese Personalized and Emotional Dialogue Dataset for Conversational AI。人类的语言表达是基于对情景的主观识解，而不是客观的真实条件，这意味着说话人的个性和情感经过认知处理后对会话有着重要的影响。为了在会话生成过程中同时考虑个性和情感，CPED由与情感和个性相关的多源知识组成。这些知识包括性别、大五人格特征、13种情绪、19种对话行为和10个场景，包含超过12K段对话，将给中文对话理解与生成领域提供一个更有挑战性的任务。任务设置见https://paperswithcode.com/dataset/cped。

【对话生成】常见对话生成数据集整理，含下载链接(更新至2022.06.04)相关推荐

  1. 人脸检测和人体检测(行人检测)1：人脸检测和人体检测数据集(含下载链接)

    人脸检测和人体检测(行人检测)1:人脸检测和人体检测数据集(含下载链接) 目录 人脸检测和人体检测(行人检测)1:人脸检测和人体检测数据集(含下载链接) 1. 前言 2. VOC数据集 3. COCO ...

  2. 面部表情识别1：表情识别数据集(含下载链接)

    面部表情识别1:表情识别数据集(含下载链接) 目录 面部表情识别1:表情识别数据集(含下载链接) 1.前言 2.表情识别数据集介绍 1.JAFFE数据集 2.KDEF(Karolinska Direc ...

  3. 163种中草药(中药材)数据集说明(含下载地址)

    163种中草药(中药材)数据集说明(含下载地址) 目录 163种中草药(中药材)数据集说明(含下载地址) 1. Chinese-Medicine-163数据集说明 2. Chinese-Medicin ...

  4. 疲劳驾驶检测和识别1： 疲劳驾驶检测和识别数据集(含下载链接)

    疲劳驾驶检测和识别1: 疲劳驾驶检测和识别数据集(含下载链接) 目录 疲劳驾驶检测和识别1: 疲劳驾驶检测和识别数据集(含下载链接) 1. 前言 2. 疲劳驾驶类别说明 3. 疲劳驾驶检测数据集: ( ...

  5. CityScapes数据集转voc数据格式训练yolov5（含下载链接）

    CityScapes数据集转voc数据格式训练yolov5(含下载链接) 1.CityScapes数据集数据格式: 2.数据处理 3.CityScapes数据集转VOC格式转换代码 CityScape ...

  6. 戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接)

    戴眼镜检测和识别1:戴眼镜检测数据集(含下载链接) 目录 戴眼镜检测和识别1:戴眼镜检测数据集(含下载链接) 1. 前言 2.Eyeglasses-Dataset数据集说明 3.Eyeglasses- ...

  7. ILSVRC2015数据集百度云下载链接

    ILSVRC2015数据集百度云下载链接 链接:https://pan.baidu.com/s/1bDN8tIn2riY90HfXNakm4w 提取码:3m38 下载上传不易,点个赞可否?

  8. 人脸识别数据集整理以及下载

    人脸识别数据集整理 下方是整理的人脸识别数据集列表,有需要的小伙伴下载获取,仅限学习交流,不能用作他处,感谢理解. 下载链接:https://download.csdn.net/download/m0 ...

  9. 常见的三维点云数据下载链接，自己整理+网上收集

    最近需要用到三维点云数据,但是网上大部分的数据资源的数据格式都是杂乱无章而且没有清晰的数据说明,为了方便,自己整理了常用的三维点云数据,格式都是按照X坐标空格Y坐标空格Z坐标这种数据格式排列,方便数据 ...

最新文章

  1. bzoj2806: [Ctsc2012]Cheat
  2. 13.7 线程生命周期状态图、线程常用的方法。
  3. 前去哪儿产品总监白羽：做SaaS产品需要注意哪些坑？
  4. Android socket 学习记录 之 执行new socket(ip, port)程序崩溃
  5. 清华大学-曾鸣-《ARM微控制器与嵌入式系统》I2C总线（一）
  6. leetcode 6 --- convertZ
  7. java骨架_基于Mat变换的骨架提取Java
  8. 用PHP玩百万英雄类型游戏！！！
  9. Vue之.sync 修饰符详解
  10. 三菱FX5U rtu方式通讯两台施耐德ATV320变频器 采用Q系列plc也支持的sp.cprtcl指令
  11. axure 倒计时_Axure倒计时效果
  12. 路由模式和桥接模式的区别
  13. 洛谷 P3403 跳楼机 题解
  14. 计算机硬件找不到网络适配器,图文学习网络适配器不见了 【操作教程】 的恢复方法_...
  15. 巴比特 | 元宇宙每日必读：入职三个月就遭遣散，热潮过后的元宇宙会走向哪里？...
  16. 【软件工具】软件测试
  17. 【JavaSE】IO流（下）
  18. cpu消耗 pytorch_PyTorch测试模型执行计算耗费的时间
  19. Leetcode 704.二分查找 27.移除元素 代码随想录day1
  20. 智慧医院解决方案（智慧医疗）

热门文章

  1. 关于“差生”的深度讨论
  2. 2021牛客寒假算法基础集训营1
  3. 一步步做一个数字手势识别APP
  4. 网站防御cdn和高防服务器,高防IP和高防CDN哪个防护更好？
  5. html分页自动加载,AutoPagerize插件，网页自动翻页插件，自动加载分页网站
  6. MagicLicense破解记录
  7. FTP主动模式和被动模式讲解
  8. Confluence相关背景知识
  9. Settings简介
  10. 当商业空间撞见元宇宙艺术