ACL2021最佳论文出炉,来自字节跳动
❤️点击上方,选择星标或置顶,每天给你送上干货❤️
ACL2021的最佳论文在今天公布了,是来自字节跳动人工智能实验室的「Vocabulary Learning via Optimal Transport for Neural Machine Translation」。
这篇论文经历颇为坎坷,当初投完ICLR2021后,只得到了4,4,3,3的评分(满分10分),大概率是要被拒稿的。后来也进行了rebuttal,但是因为要转投ACL2021,于是就撤稿了。经过反复润色修改,改进方法和实验,最终在ACL2021上获得了高分,并被评为了最佳论文。
「ACL2021论文接收列表:」
https://2021.aclweb.org/program/accept
「论文地址:」
https://arxiv.org/abs/2012.15671
「源码地址:」
https://github.com/Jingjing-NLP/VOLT
字节跳动人工智能实验室今年成果颇丰,此前还开源了业界第一款NLP模型训练和推理全流程加速引擎LightSeq:https://github.com/bytedance/lightseq
还开源了TensorFlow版本的Transformer训练库NeurST:https://github.com/bytedance/neurst
由于两个会议得分相差巨大,知乎上也马上产生了热议,几位作者出来进行了详细的解读,下面搬运一下两位原作者的回答。
「问题链接:」
https://www.zhihu.com/question/470224094
知乎用户@WAZWY
https://www.zhihu.com/question/470224094/answer/1980448588
我是这个paper的作者之一,刚刚在公司的群里有同事把这个问题链接发给我,我震惊于居然有人这么关注我们的paper,手速这么快,非常感谢,代码还在整理中,整理完之后欢迎大家使用,希望大家都能尝试一下VOLT,肯定还是有很多不足的,也欢迎给我们多提意见。
首先祝贺一作@许晶晶,非常不容易!!!
其次回答这个问题:关于从ICLR到ACL的转投,当时情况是这样的,我们在投ICLR的时候,花了太多时间在实验上,在writing上花的时间很不够,整个paper显地平铺直叙,Intuition没有说出来,且有部分重要的实验没有补充。结果大家也看到了,我觉得这是一个重要的lesson,也欢迎大家对比我们两个版本的论文。。。
Take Away:但行好事,莫问前程。还是应该好好地把手上工作360度全方位地做好,做扎实,而不是找到一个合适的ddl就去submit,现在arxiv这么方便,做到自己满意挂arxiv即可。
PS:为什么撤稿ICLR
这个问题问地不准确,我们当时其实是做了rebuttal的,ICLR的reviewer给了非常好的建议,我们很尊重也都吸收了。当时ACL有政策ICLR不在规定时间内撤稿不能投ACL,因为open review也违反ACL的规则。我们当时特地写信问了PC确认过,就撤稿了。不过后来ACL非常人性化地做了政策上的调整,这是后话了。
PSS:欢迎大家关注我们另外一篇被ICLR拒稿,然后也被ACL高分录用的paper:GLAT:Glancing Transformer for Non-Autoregressive Neural Machine Translation。当时ICLR submission在此:Non-iterative Parallel Text Generation via Glancing TransformerGLAT这个paper也是很自信,也是有点RUSH,导致写地不好。实际上效果非常好,
GLAT在我们字节跳动内部火山翻译已经上线了,Tiktok上的部分翻译流量就是GLAT serve的。数据越大,GLAT的效果越好,我们用GLAT参加了今年WMT翻译评测,大语种德语->英语(受限),以及英语->德语(非受限)的比赛中,GLAT在两个方向都拿了BLEU score的第一,充分说明并行(非自回归)生成模型未必比自回归模型差,甚至有可能更好,欢迎大家关注后续!
=======================
一眨眼就5个回答后的补充:我个人非常不同意上面的匿名回答”说明无论什么工作peer review就是摸彩票“,两次审稿的review质量都非常高,说review就是摸彩票的回答一看就是没有读过论文和review,有点不负责任且误导大众,使得一些junior的同学对投稿有错误的认知!希望稍微读一下论文。
知乎用户@许晶晶
https://www.zhihu.com/question/470224094/answer/1980633745
感谢大家对此工作的关注,我是本工作的作者之一许晶晶,也是一名普通的自然语言处理圈内吃瓜人士,只是没想到这次吃到了自己的瓜orz。这里想跟大家简单分享以下我对这个问题的回答以及在这次投稿中我学到的经验和教训。
第一,我学到的最重要教训是一定要把东西写清楚。有一说一,我们ICLR那篇工作确实写的不好。评审的反馈主要在以下几个方面:实验做的不够充分,方法介绍的不够清楚,动机也缺乏直接证据。后来的这几点,我们在ACL版本都做了大量的改进。我们补充了很多后续实验,写作也推倒重来,一遍遍推敲逻辑是否合理,实验是不是严谨和充分等等,整个过程是很痛苦的。所以后来我们得到ACL的评审认可的时候非常激动,毕竟投入了很多心血的工作终于得到了回报。
第二,投稿不要太匆忙。我们当时工作做完之后,觉得还挺有趣的,为了赶上ICLR的截止日期,写的比较匆忙,存在各种问题,结果就被ICLR的审稿人教做人了。这次投稿之后我学到的一点是准备充分再投,不然会给评审带来不必要的压力以及被评审分分钟教做人。
第三,负面意见不是否定,而是进步的重要来源。其实有很多高分论文之前被拒的先例,比如最佳论文 Lottery Ticket假说,pre-training鼻祖ELMO,LayerNorm,KD等等。我这里举这些例子不是想说我们的工作可以和他们比肩(当然我们也想作出能够真正有用的工作,这些工作一直是我们的榜样),而是想让大家可以客观的看待这个问题。可能很多人会认为负面意见是对工作的否定,其实换个角度,负面意见也是让我们进步的重要力量~虽然这次被大家谈论压力很大,但是我们也很开心可以让大家思考负面意见这个问题。当大家的论文被拒的时候,想一想Hinton的论文都被拒过稿,是不是会变得更加自信一些!
第四:NLP会议的论文不一定比ML的会议论文差。有很多优秀的论文在NLP的会议上也拿到了很高的收益,比如BERT,ELMO等等。ML的会议上也有一些被遗忘的工作。最近确实各大会议的论文数量变得越来越多,有一些很拉垮的论文被录用,但是另一方面来看,好的paper也变的更多了。NLP的会议对NLP更关注,ML的会议对算法更关注。我们当时做的是词表问题研究,可能对于ML的人是个小问题,但是对于NLP领域来说,确实个每天都在用的东西,可能也会对我们工作更认可一些。
最后,打个小小的广告,我们这个工作研究了词表学习的问题,也发现了一些有意思的结论,我们打算近期把代码整理开源出来,欢迎大家到时候试用~某大佬说过研究是一个长周期的事情,无论短期拿到多少荣誉,重要的是做的东西能不能留下来。我们也非常希望可以做出这种工作~
如果大家有任何对该工作的意见和建议,或者对修改论文上的困惑,也欢迎加我微信号一起聊聊:xujingjingpku
最后辟谣一下另一篇关于NAS的问题,我们当时NAS的工作最早投了NeurIPS,投稿时间是2020年5月27号,没中后来投了ICLR,最近被接受。without training那篇放在arxiv 的时间是2020年6月8号,所以严格意义上来说是同期工作哈~
- END -
我是godweiyang,华东师范大学计算机系本硕专业第一,字节跳动AI Lab NLP算法工程师,秋招斩获上海三家互联网大厂ssp offer,主要研究方向为机器翻译、句法分析、模型压缩与加速。最大特点就是脾气好、有耐心,有任何问题都可以随时咨询我,不管是技术上的还是生活上的。
公众号后台回复【内推】
可以通过我的内推码投递简历,加我微信还能随时查进度、咨询问题。
公众号后台回复【加群】
可以进我的技术交流群和内推群。
记得一键③连,今天的你格外的可爱????
ACL2021最佳论文出炉,来自字节跳动相关推荐
- 云栖科技评论第26期:人工智能界年度顶级会议AAAI 2017最佳论文出炉
1.人工智能界年度顶级会议AAAI 2017最佳论文出炉 人工智能界年度顶级会议AAAI 2017最佳论文出炉 [新闻摘要]人工智能界年度顶级会议AAAI2017于2月4日在美国旧金山举行,会议围绕人 ...
- AAAI 2021 最佳论文出炉!华人包揽 4 奖,北航成最大赢家,Transformer变热门
作者:周寅张皓.梦佳.贾伟 2 月 4 日,人工智能顶会 AAAI 2021(第 35 届 AAAI 大会)以在线虚拟会议的形式正式拉开序幕,并将持续到 2 月 9 日结束. 本届AAAI大会投稿量再 ...
- ACL 2019最佳论文出炉:华人团队包揽最佳长短论文一作,中科院、华为等榜上有名...
郭一璞 安妮 边策 发自 凹非寺 量子位 出品 | 公众号 QbitAI ACL 2019最佳论文新鲜出炉了. 刚刚,自然语言处理领域的顶会ACL 2019公布最佳论文,本次共颁布了4个奖项,共有8个 ...
- 计算机系统覆盖,计算机系统软件顶会OSDI 2021最佳论文出炉,邢波团队研究入选...
机器之心报道 机器之心编辑部 来学习下 OSDI 2021 的最佳论文. OSDI(操作系统设计与实现研讨会,Operating Systems Design and Implementation)是 ...
- iccv2020论文汇总_ICCV2019 最佳论文出炉,附1987~2019历届ICCV最佳论文汇总( 提供下载)...
微信公众号:极市平台 极市小编整理了ICCV 2019( IEEE International Conference on Computer Vision)的全部接收论文,大会目前正在韩国首尔如火如荼 ...
- 最新!CCF-A类顶会WWW2020最佳论文出炉!OSU最佳论文
点击上方"迈微电子研发社",选择"星标★"公众号 重磅干货,第一时间送达 导读 CCF A类会议,国际万维网大会WWW 2020(International W ...
- 常见计算机系统,计算机系统软件顶会OSDI 2021最佳论文出炉,邢波团队研究入选...
机器之心报道 机器之心编辑部 来学习下 OSDI 2021 的最佳论文. OSDI(操作系统设计与实现研讨会,Operating Systems Design and Implementation)是 ...
- 2022年全球程序员收入报告出炉:字节跳动成国内唯一上榜公司
编|凌敏.核子可乐 源|InfoQ 又一地区强制要求企业公开薪酬数据,律师:未来薪资透明才是常态. 近日,美国数据收集网站 Levels.fyi 发布了 2022 年度程序员薪酬报告,根据职位.地域对 ...
- NeurIPS 2019最佳论文出炉,今年增设“新方向奖”,微软华人学者获经典论文奖...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 第32届神经信息处理系统大会(NeurIPS 2019)今天在加拿大温哥华正式召开. 据大会官方介绍,今年的参会人数达到了空前的1.3万人 ...
- 体系结构顶会 ASPLOS 2017 最佳论文出炉,阿里云周靖人主旨演讲
2017年4月11日晚,在西安举行的架构体系的顶级会议ASPLOS(面向编程语言和操作系统的架构支持会议,Architectural Support for Programming Languages ...
最新文章
- 上机实践 1 初识 Java
- 模板:k短路(可并堆)
- 如何运行vue项目(维护他人的项目)
- 378. Kth Smallest Element in a Sorted Matrix
- 容器化Go应用--基础镜像的未知时区问题
- 给Editplus去掉.bak文件
- Android 基本控件使用
- django种表单post出现CSRF verification failed( CSRF验证失败 ) 的两种解决方式
- iOS POST 上传图片
- python查看汉字的编码_python汉字编码
- keil5点击调试提示SarmCM3.dll文件缺少问题
- html中五号字体是多少像素,5号字是多大(字体尺寸对照表mm)
- Win7局域网内找不到其他电脑怎么解决
- idea gradle GC overhead limit exceeded
- 首款双频GNSS智能手机进入市场
- 响应式织梦模板家政服务保姆月嫂类网站
- 智能硬件产品经理跟纯APP产品经理的主要区别在哪里?
- 少儿编程培训发展的重要趋势
- 未来计算机 军事,【军事科技】未来我国将建成和发明最具影响力的八大军事科技!...
- 区块链交易明细中各字段的含义