深度学习时代,不同词表的选择也影响着最后模型的效果。字节跳动AI Lab从信息论的角度作为切入点来理解词表,并提出了一种基于最优运输的词表学习方案。

这就是字节跳动火山翻译团队荣获 ACL 2021 最佳论文工作的核心出发点,该研究提出了一种新的词表学习方案 VOLT,在多种翻译任务上取得了优秀的结果。

  • 标题:Vocabulary Learning via Optimal Transport for Neural Machine Translation

  • 作者:许晶晶、周浩、甘纯、郑在翔、李磊

  • 论文地址:https://arxiv.org/pdf/2012.15671.pdf

  • 代码地址:https://github.com/Jingjing-NLP/VOLT

实验结果表明,VOLT的性能在不同场景中均优于广泛使用的词汇,包括WMT-14英语德语和TED多语种翻译。

例如,VOLT在英语和德语方面实现了近70%的词汇量缩减和0.5 BLEU增益。另外,与BPE搜索相比,VOLT大幅缩短词表搜索时间,在英德翻译任务上将搜索时间从384 GPU小时降至为30GPU小时。

智源社区特邀字节跳动AI Lab部门研究员 许晶晶就相关内容作报告分享,欢迎大家交流。

许晶晶,字节跳动公司AI Lab部门研究员。主要研究方向为自然语言处理和机器学习。已在国内外知名学术会议发表多篇论文,曾担任ACL 2021领域主席以及多项顶会审稿人。现致力于探索轻量级深度学习。

主题:机器翻译中的词表学习问题研究

时间:2021年8月20日(周五)16:00~17:00

形式:线上

入会方式:腾讯会议 - ID:259301763

B站直播:https://live.bilibili.com/21484823


扫描如下二维码报名活动

了解更多信息请加入「自然语言处理」交流群

青源LIVE第23期|ACL最佳论文一作许晶晶:机器翻译中的词表学习问题研究相关推荐

  1. 吴琦:视觉-语言导航新进展:Pre-training 与 Sim2Real | 青源 Talk 第 12 期

    活动议程 日期:2月17日(周四) 时间 主题 14:30-14:35 开场简介 刘偲 北航人工智能研究院教授.博导,青源会会员 14:35-15:20 视觉-语言导航新进展:Pre-training ...

  2. 张拳石:深度学习可解释理论的统一体系与去芜存菁 | 青源 Talk 第 14 期

    活动议程 日期:3月17日(周四) 时间 主题 14:30-14:35 开场简介 许志钦 上海交通大学自然科学研究院/数学科学学院长聘教轨副教授,青源会会员 14:35-15:20 深度学习可解释理论 ...

  3. 苗旺:因果推断,观察性研究和 2021 年诺贝尔经济学奖 | 青源 Talk 第 8 期

    活动议程 日期:11月26日(周五) 时间 主题 14:30-14:35 开场简介 崔鹏 清华大学长聘副教授,青源会会员 14:35-15:20 主题:因果推断,观察性研究和2021年诺贝尔经济学奖 ...

  4. 魏哲巍:图神经网络的理论基础 | 青源 Talk 第 7 期

    活动议程 日期:11月12日(周五) 时间 主题 13:30-13:35 开场简介 张峰 中国人民大学副教授,青源会会员 13:35-14:20 主题:图神经网络的理论基础 魏哲巍 中国人民大学教授, ...

  5. 开启报名 | 青源 Salon 第 1 期:强化学习专场,报告,海报,激辩,这是年轻人的会场

    由北京智源人工智能研究院主办的「青源Salon | 第1期] 将聚焦强化学习的前沿研究与进展,于2021年4月22日在线下和线上同步召开.本次沙龙邀请了卡耐基梅隆大学助理教授方飞,Google Bra ...

  6. 【学术相关】陈天奇、王威廉等人推荐:ACL最佳论文奖得主给新入行研究者的一点建议...

    选自Medium 作者:Marco Tulio Ribeiro 机器之心编译 编辑:杜伟.蛋酱 三思后行,搞学术也是一样的道理.但如何思考才是正确的呢? 接下来我应该做什么项目呢?对于从本科生到博士生 ...

  7. #今日论文推荐# 陈天奇、王威廉等人推荐:ACL最佳论文奖得主给新入行研究者的一点建议

    #今日论文推荐# 陈天奇.王威廉等人推荐:ACL最佳论文奖得主给新入行研究者的一点建议 本文将对两篇篇博客的中心思想进行了编译整理(以第一人称转述),内容如下: 前提:扩展你的相邻可能 想法往往出现在 ...

  8. 刘偲:AI+艺术 | 青源 Talk 第 11 期

    活动议程 日期:1月13日(周四) 时间 主题 14:30-14:35 开场简介 黄高  清华大学自动化系副教授.博导,青源会会员 14:35-15:20 AI+艺术 刘偲 北航人工智能研究院教授.博 ...

  9. 韩先培:大规模预训练语言模型是下一代知识图谱吗 | 青源 Talk 第6期

    活动议程 日期:10月28日(周四) 时间 主题 14:30-14:35 开场简介 张家俊,中科院自动化所研究员,智源青年科学家 14:35-15:20 主题:大规模预训练语言模型是下一代知识图谱吗? ...

最新文章

  1. 医院六级电子病历建设思路及要点
  2. px word 表格宽度_「Word技巧」掌握这六个Word表格处理技巧,表格排版不再是问题...
  3. while0表示什么意思_轮胎上的各种字符都表示什么意思,家用车的轮胎又该如何选择呢?...
  4. ssh无密码登录设置(centos6系统下实现)
  5. dbms_DBMS | 并发控制
  6. faspeed是什么意思_speed是什么意思_speed的翻译_音标_读音_用法_例句_爱词霸在线词典...
  7. 机器人环境感知研究现状简述
  8. Android MVP和Dagger2
  9. BGP AS过滤列表
  10. DataTable序列化为JSON字符串
  11. netdevice - 底层访问 Linux 网络设备
  12. html+div+css+jquery+javascript的关系
  13. 打开方式更改为计算机程序,Lnk打开方式被修改 快捷方式被其他应用程序强制关联...
  14. 全国行政区划代码到行政村_行政任务
  15. 征途LINUX服务端脚本,征途【改版教程】-版本内脚本文件-转载于-喜欢玩网游单机站...
  16. 电脑开不了机是不是电源坏了
  17. 电子计算机厂房火灾危险性,厂房建筑设计防火规范(57页)-原创力文档
  18. cfa的pv怎么用计算机算,【干货】CFA考试计算器最佳设置和计算技巧
  19. scala中的breakable{}实现continu 与break
  20. 昨夜西风凋碧树,独上高楼,望尽天涯路

热门文章

  1. java 内部类 引用_在Java中如何从内部引用匿名内部类?
  2. jdbc mysql查询整行信息_JDBC获取数据库各种信息
  3. seo关键词互点软件报价_seo关键词优化软件如何收费
  4. 文本数据 php,PHP对文本数据库的基本操作方法
  5. java postdelayed_你真的懂Handler.postDelayed()的原理吗?
  6. Android tabLayout+recyclerView实现锚点定位
  7. Spring核心AOP(面向切面编程)
  8. (转) 6 ways of mean-centering data in R
  9. 第一款支持容器和云部署的开源数据库Neo4j 3.0
  10. Oracle 存储过程之通用分页查询