华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020...
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
NLP领域顶会ACL 2020颁奖刚刚结束,今年的最佳论文奖也尘埃落定。
在昨天的议程中,共颁布了最佳论文奖、最佳Demo论文奖、最佳主题论文奖三大奖项。
从今年投稿数量上来看,中美依旧领跑NLP领域,其中中国的论文数量还要更多一些。
△ 今年论文投稿数量
这次的最佳论文奖被微软一举夺下,从论文内容上来看,的确值得仔细研读。
最佳论文突破NLP传统测试方法
这届ACL的最佳论文是《Beyond Accuracy: Behavioral Testing of NLP Models with CheckList》。(文末附论文链接)
这篇论文提出了一种全新的NLP模型测试方法CheckList。
与之前提出的测试方法相比,它具有两点突出的特性:与任务无关、快速生成大量不同测试案例。
这一测试方法颠覆了之前NLP模型普遍采用的留出法(held-out)测试方法,相较而言,后者通常会高估NLP的性能。
经过测试,使用CheckList进行测试的NLP模型创建了比未使用CheckList的模型2倍的测试数量,发现了比平时测试多出3倍的bug量。
这种测试方法的提出,对于完善各种NLP模型具有很好的效果。
而在今年的会议上,来自微软的论文第一作者Marco Tulio Ribeiro,对CheckList的测试方法和原理进行了清晰简洁的解析。
△ 生动的PPT解析
目前已有最佳论文解析的高清录像,对这篇论文感兴趣的小伙伴,可以一睹为快(文末附视频链接)。
顺带一提,论文的二作是华人女博士吴彤霜,来自华盛顿大学,本科于香港科技大学完成学士学位,专注于交互式机器学习、人机交互和可视化方向的研究。
△ ACL 2020最佳论文奖二作吴彤霜
华人斩获最佳Demo论文奖
除此之外,今年的华人团队还斩获了最佳Demo论文奖,华人一作Manling Li曾于国科大获得硕士学位。
这篇论文的题目是:《GAIA: A Fine-grained Multimedia Knowledge Extraction System》
论文提出了首个全面、开源的多媒体知识提取系统GAIA。(文末附GitHub开源链接)
GAIA通过各种途径来源获取非结构化、异构的多媒体数据流,并对这些输入进行处理,创建了一个结构化的知识库。
它能够对复杂图形进行无缝搜索,且能检索包括文本、图像和视频在内的多媒体数据。
在最近的NIST TAC SM-KBP2019评估中,这个提取系统表现最优。
△ ACL 2020最佳Demo论文奖一作Manling Li
最佳主题论文奖
除此之外,ACL 2020还评选出了今年的最佳主题论文奖,题目是《Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data》。
这篇论文提出了一种理论,基于ACL 2020的主题“Taking Stock of Where We’ve Been and Where We’re Going”下,认为清晰地理解“形式”与“意义”的差异,有助于引导该领域在自然语言理解层面上进行更科学的发展。
除最佳论文奖等相关奖项外,ACL 2020前天也公布了终身成就奖、时间检验奖和杰出服务奖,机器学习知名学者Yoshua Bengio也在这次的时间检验奖作者名单中。
Bengio获时间检验奖
ACL 2020的时间检验奖共4篇,2篇颁给了发表自1995年的经典论文,另外2篇则是发表自2010年的论文。
第一篇是1995年在CL上发表的文章:
这是计算语篇分析(computational discourse)领域中最重要的论文之一,彰显了「语言学」在「计算语言学」中的力量。
即使目前的语言处理方法已从基于逻辑的方法转向基于统计学的深度学习,但这篇论文中所提到的理论至今仍广受推崇。
第二篇是1995年发表于ACL的论文:
这篇论文展示了数据驱动在NLP领域的力量,是「语言学假说与无监督学习相结合」的具有开辟性的工作。
其在领域内提出的问题至今仍然在被研究:监督学习与无监督学习之间的差异,以及数据标记所需花费的成本。
第三篇论文是2010年发表在CL上的论文:
这篇论文提出了自监督预训练的方法(像BERT、word2vec中的应用),提升了计算语义学、语言学理论和认知模型的关联性。
第四篇论文于2010年发表在ACL上:
作为学术界里程碑式的著作,这篇论文首次将向量表示法应用于NLP方向,其倡导理论如今仍然主导着NLP领域。这篇论文的作者之一,就是Yoshua Bengio。
△ Yoshua Bengio
对终身成就奖和杰出服务奖感兴趣的小伙伴,可以戳下方传送门查看相关报道。
传送门
最佳论文奖:
https://www.aclweb.org/anthology/2020.acl-main.442.pdf
最佳Demo论文奖:
https://www.aclweb.org/anthology/2020.acl-demos.11.pdf
GAIA代码传送门:
https://github.com/GAIA-AIDA
最佳主题论文奖:
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
最佳论文视频解析:
https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist
ACL 2020终身成就奖、杰出服务奖、时间检验奖相关报道:
https://mp.weixin.qq.com/s/8ju0eVuJOurBphly9sSPLQ
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
喜欢就点「在看」吧 !
华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020...相关推荐
- GPT-3等三篇论文获NeurIPS 2020 最佳论文奖!华人一作获时间检验奖
作者 | AI科技评论 刚刚,NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖! 今年一共有三篇论文共同获得最佳论文奖,其中第二篇获奖论文就是来自OpenAI团队打造的今 ...
- NeurIPS'22杰出论文奖:3项研究出自华人团队,AlexNet获时间检验奖
Pine 发自 凹非寺 量子位 | 公众号 QbitAI 就在今天,NeurIPS 2022杰出论文奖公布了!与它一同公布的还有数据集和测试基准(Datasets & Benchmarks)最 ...
- NeurIPS 2021六篇杰出论文公布,谷歌工程师11年前论文获时间检验奖
来源:量子位 NeurIPS 2021将于下周正式召开. 近日,大会委员会公布了NeurIPS 2021的杰出论文奖,时间测试奖,以及今年新设的数据集和测试基准最佳论文奖. 杰出论文奖 今年有六篇论文 ...
- 姚期智施尧耘获FOCS 2021时间检验奖,MIT华人摘最佳学生论文奖
转自:量子位 计算机理论顶会FOCS 2021各项论文奖项已公布. 最佳学生论文奖被MIT华人学霸毛啸收入囊中. 而姚期智院士和达摩院量子实验室负责人施尧耘则凭借2001年发表的论文<Infor ...
- 姚期智施尧耘获FOCS 2021时间检验奖,MIT华人学霸毛啸摘最佳学生论文奖
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 计算机理论顶会FOCS 2021各项论文奖项已公布. 最佳学生论文奖被MIT华人学霸毛啸收入囊中. 而姚期智院士和达摩院量子实验室负责人施尧 ...
- 字节跳动AI科学家王崇学生时代论文获“时间检验研究奖”
在"久经时间考验"的AI科研成果评选中,华人科学家再次成为赢家. 8月17日举行的国际数据挖掘与知识发现大会KDD2021上,字节跳动AI科学家王崇以学生时代的一篇论文获得&quo ...
- ACL 2020三大奖项出炉!知名学者夫妇曾先后获终身成就奖,时间检验奖回溯95年经典著作...
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 自然语言处理顶会ACL 2020今年以线上的形式举办,时间从7月5日至7月10日. 但从投稿数量来看,此次会议热度依旧不减,达到了历年最高的 ...
- 专访:经历了时间检验的不仅是论文,还有唐杰自己 | SIGKDD 2020时间检验奖
KDD 2020即将在8月23-27日召开.而近日,SIGKDD 2020官方推特也公布了本年度的各种奖项,其中清华大学教授.智源研究院学术副院长唐杰团队获得了ACM SIGKDD 2020时间检验应 ...
- 十年前的AlexNet,今天的NeurIPS 2022时间检验奖
目录:十年前的AlexNet,今天的NeurIPS 2022时间检验奖 一.前言 二.时间检验奖 一.前言 作为当前全球最负盛名的 AI 学术会议之一,NeurIPS 是每年学界的重要事件,通常在每年 ...
最新文章
- Python中的变量作用域
- ORACLE导入TXT文件数据的解决思路
- ubuntu安装openssh-server 报依赖错误的解决过程
- 卷积神经网络CNN(Convolutional Neural Networks)没有原理只有实现
- 绝地求闪退be服务器未运行,绝地求生大逃杀BE启动失败,应用程序无法正常启动...
- 数据库系列之mysql 自定义函数function,函数和存储过程的区别
- LeetCode 5843. 作为子字符串出现在单词中的字符串数目
- centos7默认字体_如何更换CentOS(Linux)系统默认字体?
- 12 个轻量级的 JavaScript 库
- zabbix监控业务进程变动
- 设计模式之GOF23桥接模式
- postman下载与汉化
- python 分词器比较
- u盘怎样修复服务器系统,高手教你怎么修复U盘的MBR
- Crime and Punishment
- Windows 虚拟摄像头驱动开发之 基于AVstream流内核的摄像头驱动
- 多选题如何做结构方程模型分析?
- android 圆形头像方案,android圆形头像实现
- 华胜天成收购中天安泰10%股权 出手网络信息安全
- 使用第三方sdk时问题
热门文章
- json的序列化与反序列化
- 【青少年编程】【Scratch】10 画笔模块
- 【数据结构】邻接矩阵及其实现
- phpstudy2014 php7.0,phpstudy下载_phpStudy下载2014 官方版_php环境集成包 1.0_零度软件园...
- redis删除过期key的算法_面试官别再问我Redis内存满了该怎么办了
- 用了这么久的 Python,居然没注意到这个操作
- SDN 网络技术创新探索 | 移动云 TeaTalk 线上直播 倒计时启动中
- 大促下的智能运维挑战:阿里如何抗住“双11猫晚”?
- 真相!30K拿到互联网大厂offer,网友:我服了!
- RetinaFace,最强开源人脸检测算法