权威赛事来了!千言-文本生成评测启动,聚焦NLG技术痛点
自然语言生成是人工智能的重要前沿技术,该技术在落地时会面临一个难题:如何保证模型生成的文本与输入具有事实层面的一致性,即避免生成错误、臆想的信息?为推动相关研究,中国中文信息学会自然语言生成专委会与千言开源数据集项目(www.luge.ai)联合举办“面向事实一致性的生成评测比赛”。比赛于8月3日开启报名,并将在11月7日首届中国自然语言生成大会(CCNLG-2021)召开评测研讨会并举行颁奖仪式。
本届比赛以事实一致性为核心,将提供三个对事实一致性有较高要求的典型生成任务:文案生成[1]、摘要生成[2]和问题生成[3],结合文本流畅性和事实一致性两项指标,综合评估参赛系统的效果。
除了有挑战性的赛题,百度将赞助赛事为获奖团队提供丰厚的奖金:第一名20000人民币、第二名10000人民币、第三名5000人民币。
报名及竞赛详情链接:
https://aistudio.baidu.com/aistudio/competition/detail/105
1、赛题背景及事实一致性简介
随着深度神经网络文本生成模型、预训练语言模型的迅速发展,自然语言生成的可读性和流畅性不断提升。然而,自动生成的文本中经常出现不符合输入的错误事实。这个问题被称为“自然语言生成的事实一致性问题”,以自动摘要任务为例,以下描述一个具体的样例:
输入: 研究机构此前曾发布报告称2013年长期黄金牛市或将终结,下调黄金3个月、6个月和12个月价格预估分别至1825美元、1805美元、1800美元。近日,大宗商品分析师Damien Courvalin的研究报告进一步预期国际金价到2018年或跌至1200美元/盎。理由是除了实际利率之外,黄金与各货币之间的联动同样影响着黄金价格,不过,三个月黄金价格预估仍然看涨。
参考摘要: 近涨远跌,金价2018年或跌至1200美元/盎
这是取自LCSTS数据集[2]的一个样例,对输入的文本,算法需要得出精简的摘要结果。
接下来,我们看两个由自然语言生成算法得到的结果:
结果A(事实一致): 研究机构预计国际金价近涨远跌
结果B(事实不一致): 分析师:金价2018年或跌至1800美元
可以看到,结果A正确,结果B粗看似乎也比较流畅,但事实和原文表达的内容存在事实偏差(“1800美元”vs“1200美元”)。
目前常用于评估自然语言生成效果的BLEU或ROUGE等指标,其思路均为计算生成文本与参考答案的字面匹配度。然而对结果A和结果B计算与参考摘要的字面匹配度,反而错误的结果B可以获得更高的分数,针对这个问题,我们设计和发起了本比赛。
2、赛程安排
为确保比赛公平性,正式赛将分为3个阶段开展:
阶段1:开放测试集1,参赛队伍可在测试集1上优化模型效果,提交结果到千言平台后,会在线给出结果并更新实时榜单1;
阶段2-最终测试提交:开放测试集2,参赛队伍计算测试集2上的结果并提交到千言平台;
阶段3-人工评估:以阶段2的自动评测结果为准,排名前10的队伍进入人工评估阶段,为避免自动评估指标本身的评估偏差,将以人工评估为依据确认和公布最终排名。
3、参赛奖励
千言-面向事实一致性的生成评测比赛的最终获奖团队将获得:
(1)丰厚奖金:第一名20000人民币、第二名10000人民币、第三名5000人民币。
(2)荣誉证书:获奖团队将由赛事主办方颁发权威获奖证书。
同时,参赛者也将获得以下福利:
(1)学习交流机会:在赛事群中与参赛者、组织者深入交流;
(2)前沿学习资料:获取自然语言生成事实准确性提升方法和评估指标的前沿进展学习材料。
(3)精美礼品&参赛证明:正式报名参赛并提交最终结果的队伍每位成员将获得千言数据集精美的定制周边一份,并发放参赛证明。
4、比赛组织
指导单位:中国中文信息学会
主办单位:中国中文信息学会自然语言生成专委会(筹)
承办单位:清华大学、哈尔滨工业大学(深圳)、百度
评测委员会:黄民烈(清华大学), 户保田(哈尔滨工业大学(深圳))、肖欣延(百度)
5、交流群
扫码添加微信,备注“生成“即可加入竞赛交流群。
点击“阅读原文“,即可了解竞赛详情并报名!
后台回复关键词【入群】
加入卖萌屋NLP/IR/Rec与求职讨论群
后台回复关键词【顶会】
获取ACL、CIKM等各大顶会论文集!
[1].Zhihong Shao, Minlie Huang, Jiangtao Wen, Wenfei Xu, Xiaoyan Zhu. 2019. Long and Diverse Text Generation with Planning-based Hierarchical Variational Model. In Proceedings of EMNLP 2019.
[2].Baotian Hu, Qingcai Chen, Fangze Zhu. 2015. LCSTS: A Large Scale Chinese Short Text Summarization Dataset. In Proceedings of EMNLP 2015.
[3].Wei He, Kai Liu, Jing Liu, Yajuan Lyu, Shiqi Zhao, Xinyan Xiao, Yuan Liu, Yizhong Wang, Hua Wu, Qiaoqiao She, Xuan Liu, Tian Wu, Haifeng Wang. 2019. DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications. In Proceedings of ACL 2018 MRQA Workshop.
权威赛事来了!千言-文本生成评测启动,聚焦NLG技术痛点相关推荐
- 《NLP直播课打卡》第二天:千言文本相似度比赛全流程
打卡内容说明 基于NLP直播课实践内容略改训练过程,简化训练的使用 使用paddlenlp进行预训练模型网络开发 内含数据读取与处理方法(未清洗样本数据) 内含数据分布的简要展示 网络搭建与训练 预测 ...
- 拆解「千言数据集:文本相似度」竞赛第一背后的故事
欢迎关注[百度NLP]公众号,及时获取更多自然语言处理领域技术干货! 文本相似度旨在识别两段文本在语义上是否相似,它在自然语言处理领域是一个重要研究方向,同时在信息检索.新闻推荐.智能客服等领域都发挥 ...
- “千言”开源数据集项目全面升级:数据驱动AI技术进步
"千言"是由百度联合中国计算机学会.中国中文信息学会共同发起的面向自然语言处理的开源数据集项目,旨在推动中文信息处理技术的进步.近日,在2021年12月12日的 WAVE SUMM ...
- 前沿重器[7] | 小布助手登顶百度千言短文本相似度的秘诀
[前沿重器] 栏目主要给大家分享各种大厂.顶会的论文和分享,从中抽取关键精华的部分和大家分享,和大家一起把握前沿技术.具体介绍:仓颉专项:飞机大炮我都会,利器心法我还有. 往期回顾 前沿重器[2] | ...
- 深度学习核心技术精讲100篇(四十二)-Seq2seq框架下的文本生成
前言 文本生成,旨在利用NLP技术,根据给定信息产生特定目标的文本序列,应用场景众多,并可以通过调整语料让相似的模型框架适应不同应用场景.本文重点围绕Encoder-Decoder结构,列举一些以文本 ...
- 文本生成视频Make-A-Video,根据一句话就能一键生成视频 Meta新AI模型
Meta公司(原Facebook)在今年9月29日首次推出一款人工智能系统模型:Make-A-Video,可以从给定的文字提示生成短视频. Make-A-Video研究基于文本到图像生成技术的最新进展 ...
- Data2Text文本生成演化之路
最近看了很多这方面的论文,尝试做个总结. 早期发展路线 早期的文本生成系统多是基于规则的,Reiter等对规则系统进行了归纳总结[1],认为文本生成系统可以分为三个较为独立的模块:(1)内容规划(Co ...
- 聚焦NLG前沿技术难题,千言-生成一致性评测竞赛正式启动
点击左上方蓝字关注我们 自然语言生成是人工智能的重要前沿技术,该技术在落地时会面临一个难题:如何保证模型生成的文本与输入具有事实层面的一致性,即避免生成错误.臆想的信息?为推动相关研究,中国中文信息学 ...
- 让AI用事实说话,千言第二届面向事实一致性的生成评测比赛启动
火遍全网的ChatGPT让人惊叹全球热点技术AIGC(AI Generated Content,人工智能内容生成)的迅速发展,它似乎能够理解和产生复杂的想法,可以回复各种问题,进行有逻辑的对话,可以创 ...
最新文章
- Google宣布5.5亿美元投资京东
- 数据结构——图的深度遍历
- 小说不“好看”,读者就给你“好看”
- 微博技术专家陈波:百亿级访问量的应用如何做缓存架构设计
- ubuntu恢复出厂设置_苹果恢复出厂设置,小编告诉你苹果手机怎么恢复出厂设置?...
- 高响应比优先调度算法(HRRN)例题详解
- html插入flash时钟,PPT怎么插入Flash时钟显示实时时间?
- python程序实例视频教程_python从入门到精通视频(全60集)马哥Python未压缩版
- 三维浮雕软件 linux,三维立体浮雕软件下载
- 常用的网络上的 webservice 地址
- 智能卡卡发卡流程(收藏1)
- 打开应用商店显示服务器出错了,Win10应用商店提示“我们这边出错了”的三种解决方法...
- Qt编写的qml程序全屏时,挡住系统虚拟键盘的解决办法
- 我在Blue Nile(蓝色尼罗河)上通过python爬取一百万颗钻石,最终选出心仪的一颗
- 肿瘤患者,要牢记这四大饮食原则
- random.seed()的用法
- Window任务计划命令详解
- NetSpot Pro一款非常强大的可视化wifi检测工具
- 国内SSD品牌如何异军突起
- RokcetMq基本概念
热门文章
- 链表的插入、删除、排序的程序
- 从pg_hba.conf文件谈谈postgresql的连接认证
- Javadoc的Html文件传输chm
- jrtplib使用注意事项
- hadoop环境安装及简单Map-Reduce示例
- Intent介绍及Intent在Activity中的使用方法
- 字符串2在字符串1中第一次出现的位置strstr()
- 你没干什么坏事,你怕什么?
- gis python 桌面,arc-utils-用于Esri ArcGIS桌面软件的Python实用程序-Grant Herbert
- Packet Tracer 5.0 建构 CCNA 实验攻略——配置单区域 OSPF