北京大学联合复旦大学发布中文空间语义理解评测SpaCE2021

SpaCE2021

点击下面卡片，关注我呀，每天给你送来AI技术干货！

机器是否具体空间认知能力呢？北京大学与复旦大学的研究团队发布了中文空间语义理解评测SpaCE2021，旨在考察机器对文本中空间信息的理解与判别能力。此次评测包含三项子任务，评测语料涵盖了小说、散文、词典等多种文体，合计86万字。评测项目目前已作为CCL2021评测任务之一正式发布，欢迎相关方向的研究者们报名参与！

任务网址：

https://github.com/2030NLP/SpaCE2021

报名地址：

https://2030nlp.github.io/SpaCE2021/registration.html

引言

语言交际中存在大量的空间语义信息，理解这些信息是非常重要的。如果机器具备了空间认知能力，那么它不仅要能够识别常规、正确的空间信息，还应该能够识别异常、错误的空间信息。

如对于“在四面签一个名字”，人类能够意识到其中存在异常，因为“一个名字”通常不会签在“四面”；又如对于“走过火车下”，人类能够清楚地知道通常不会有人在火车的“下”方走路

可以看出，这些异常是多种多样的，具体包括：跟空间语义理解有关的词语搭配问题、上下文信息冲突问题、与常识冲突的问题等。为了方便进行不同的后续处理，机器在识别异常的同时，也需要能够对异常的原因加以解释。

基于上述观点，SpaCE2021评测试图考察计算机的以下能力：

计算机能否正确区分正常与错误的空间语义表达；
计算机能否解释空间语义表达错误的原因；
计算机处理上述两个任务的综合能力。

我们将上述能力对应为三个子任务，具体设计如下。

任务设计

子任务1 中文空间语义正误判断

判断给定的中文文本中是否存在空间关系异常。（二分类）

子任务2 中文空间语义异常归因合理性判断

判断给定的归因是否可以用来解释给定的中文文本中所存在的空间关系异常。这些异常被分为词语搭配问题、语义问题、语境问题、常识问题以及其他问题。（二分类）

子任务3 中文空间语义判断与归因联合任务

先判断给定的中文文本中是否存在空间关系异常，如果存在异常，则再判断所给定的归因是否可以用来解释这一异常。

奖项设置

评测奖金丰厚，欢迎参与哦～

感谢华为公司赞助此次评测任务，奖池共计40000元：

一等奖（1名），奖金15000元；

二等奖（2名），各奖8000元；

三等奖（3名），各奖3000元。

报名方式

感兴趣的个人/团队快快填写在线报名表吧：https://2030nlp.github.io/SpaCE2021/registration.html

如有其他问题，请直接联系评测委员会：sc_eval@163.com （孙春晖）；

主办方会在每个工作日检查新的报名队伍并通过邮件发送回执。

评测委员会

Members

单位：北京大学，复旦大学

主席：詹卫东，穗志方（北京大学）；邱锡鹏（复旦大学）

委员：孙春晖，唐乾桐，秦梓巍，董青秀，李卓，张洁（北京大学）；李孝男（复旦大学）等

联系人：孙春晖

联系方式：sc_eval@163.com

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！

北京大学联合复旦大学发布中文空间语义理解评测SpaCE2021相关推荐

中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力
项目设计集合(人工智能方向):助力新人快速实战掌握技能.自主完成项目设计升级,提升自身的硬实力(不仅限NLP.知识图谱.计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户 ...
中文哈工大_哈工大讯飞联合实验室发布中文RoBERTawwmext预训练模型
哈工大讯飞联合实验室(HFL)相继发布了基于Whole Word Masking(WWM)的中文预训练BERT模型(BERT-wwm,BERT-wwm-ext)以及中文预训练XLNet模型(XLNet ...
realtek网卡mac硬改工具_七彩虹联合Realtek发布粉色固态硬盘首发评测
七彩虹是PC行业领先的科技企业,其中在板卡领域是大陆第一的品牌,而在存储领域也常常被行业称为四大金刚之一.小螃蟹瑞昱(Realtek)是领先的专业IC设计公司,其中广为大家所认知的是网卡芯片.声卡芯片 ...
11月千言最新评测推荐，覆盖中文对话、视频语义理解、可信AI等前沿方向
千言数据集是百度联合中国计算机学会.中国中文信息学会共同发起的数据共建计划,千言针对每个自然语言处理问题,均收集和整理多个开源数据集,进行统一的处理并提供统一的测评方式,帮助加速模型的研发.截至目前, ...
【工大SCIR】首次探索中文词信息增强中文口语语言理解!
论文名称:Injecting Word Information With Multi-Level Word Adapter for Chinese Spoken Language Understand ...
平安金融壹账通登顶中文机器阅读理解CMRC竞赛榜单
近日,在第三届中文机器阅读理解评测 (The Third Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2019 ...
AAAI 2020论文解读：商汤科技发布新视频语义分割和光流联合学习算法
来源 | Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow 编辑 | Carol 出品 | AI科技大 ...
复旦大学邱锡鹏：若优化顺利，MOSS三月底开源；库克或被踢出苹果董事会；华为云联合CSDN发布智能化编程助手Snap|极客头条
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹出品 | CSDN(ID:CSDNnews ...
复旦大学邱锡鹏：若优化顺利，MOSS三月底开源；库克或被踢出苹果董事会；华为云联合CSDN发布智能化编程助手Snap|极客头条...
「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹出品 | CSDN(ID:CSDNnews ...
如何提高QnA maker机器人训练中文语义理解的能力
这是一个常见的问题,在人工智能的世界里面,图像理解.语言及语义理解.数据理解是三个核心领域.而关于语言及语义理解,又与具体的语言和文字密切相关.目前来说,大家都是用机器学习去训练模型,如果要更好的理解 ...

北京大学联合复旦大学发布中文空间语义理解评测SpaCE2021

北京大学联合复旦大学发布中文空间语义理解评测SpaCE2021相关推荐

最新文章

热门文章