《Reducing Word Omission Errors in Neural Machine Translation:A Contrastive Learning Approach》论文阅读笔记
Reducing Word Omission Errors in Neural Machine Translation:A Contrastive Learning Approach
- 基本信息
- 研究目的
- 相关工作
- 方法
- CL算法
- 实验
- 实验
- 结论
- Notes
基本信息
Authors：Zonghan Yang, Yong Cheng, Yang Liu, Maosong Sun
Year：2019
From：ACL
研究目的
NMT SYSTEM倾向于make word omission errors（单词省略的错误）。所以，我们使用contrastive learning（使model分配更高的概率给ground-truth translation；更低的概率给erroneous translation）的方法来解决这个问题。
同时，还要开发一种模型通用的方法来解决NMT中单词省略的问题。
相关工作
- Modeling Coverage for NMT
- SMT中有一个coverage的概念，用以度量source phrase是否被翻译且被翻译一次。为了引入这个量，我们有两种方法：一是调整模型结构来包含coverage、二是在decoder端加入限制。但本文的工作于这些方法不同，因为CL于模型无关。我们使用的方法属于fine-tune
- Contrastive Learning in NLP
1.
方法
为了选择正确的句子，我们需要让NMT model给真实的句子分配的概率 > 给错误的句子分配的概率。
CL算法
第一步：给定一个平行训练集，通过train找到一组model参数，使训练集的log-likelihood最大。
第二步：通过省略y中的单词来构建负样本，这里有三种方法：
- random omission: 用随机均方分布来omission
- omission by word frequency: 根据词频省略
- omission by part of speech: 根据词性省略
第三步：
N代表一个ground-truth的y产生了几个错误的负样本。
实验
三个baseline
我们的CL方法：
动词或介词(preposition)
实验
1 BLEU
2 人类评价
结论
- 这个方法没有language的限制
- 这个方法可以快速被train，收敛得快
- 这个方法是model agonstic的
Notes
n/a
《Reducing Word Omission Errors in Neural Machine Translation:A Contrastive Learning Approach》论文阅读笔记相关推荐
- 《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记 主要挑战贡献: KG上的推理挑战主要 ...
- 论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
- Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录 标题翻译:基于Beta分布引导方面感知图的方面类别情感分析 原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
- Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
- DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
- [论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构 解 ...
- 论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机 很多机器 ...
- 论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
- Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
- 斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理 目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询 路径查询 连接查询 Query2box 示例:生物医学图 知识图谱上的预测查询 我们是否可以进行多跳推理,即在 ...
最新文章
- 6.mybatis异常：SQL Mapper Configuration,Error parsing Mapper XML,Could not resolve type alias
- Microsoft Dynamics CRM 2011中，Lookup字段的赋值
- 马云：我不懂技术但欣赏技术 达摩院必须超越微软 - 20171011
- 06 矩阵计算【动手学深度学习v2】
- 在jsp页面下, 让eclipse完全支持HTML/JS/CSS智能提示
- 由西云数据运营的中国第二个AWS区域正式向客户提供服务
- 动手学习深度学习——基本简介
- 【hiho】2018ICPC北京赛区网络赛B Tomb Raider（暴力dfs）
- 【暴力破解】medusacrowbar工具
- 可以在idle内部执行python命令_2、Python IDLE入门
- 腾讯音乐2020年报：懒人听书收购完成，谢振宇、太盟投资减持
- 解决Android打包Entry name ‘res/animator/linear_indeterminate_line1_head_interpolator.xml‘ collided
- 董卫凤：不服输的华丽转身（三）
- 8s数据导入导出的load和unload解析
- MainWindow漫谈
- linux mv覆盖目录,linux下利用grep和dd命令恢复被mv命令覆盖的文件内容
- CStdioFile
- Word编辑技巧（图片、文本框居中）
- Java学习踩坑：Elasticsearch7.X.X的JDK版本导致的问题
- Java练习：逢七过