1. 导论

整个论文的目的是解决不连续的NER实体解析。

亮点在于：
1、使用了带memory的点网络（可以加强实体边界以及使用先验的实体）
2、模型做决定的时候能使用全局信息

2. 模型架构

2.1 方法概述

整个非连续的NER任务可以使用下面式子来进行描述：
输入: s = {w₁, w₂, …, w_n}，n表示句子中字符的个数。
输出：Y = {y₁, y₂, …, y_m}，y_k=[a, …, b]表示一个实体按顺序排列的索引。(1<=a<=b<=n，论文中表示a<b，感觉这里有问题，因为如果单个字符就表示一个实体呢)

2.2 模型整体架构

加入了两个哨兵字符：<EOM>和<NEXT>
解码的过程：

2.2.1 Input Representation和Transformer Representation

包含了三个部分：
向量x_t^w是单个词w_t的表示，来自于与训练好了的词向量。
向量x_t^p是第t个位置的绝对位置表示。
向量x_t^c是将一个词汇转化成一个个的字母，然后使用卷积网络进行提取。
总的向量表示为：

将[x₁, [x₂, …, [x_n]通过transformer结构，可以更好地对文本进行特征提取。

2.2.2 原始的Pointer机制

当前的decoding表示为s_i，计算s_i和每个h_j的关联分数

如何获得decoding的第i个输出：

P_i表示解码器解码出当前位置的输出。

2.2.3 memory-augmented的Pointer机制

使用先验的实体

实体表示
对于实体y_k=[a, …, b] (1<=a<=b<=n)，构建y_k的表示r_k:

Att(*)的实现如下：

v、W是待训练的参数。按照上面的方法可以求到一个完整实体的表示，那么如何表示实体的一部分呢？对于实体的一部分y_k=[a, …, i] (1<=a<=i<b)，开始于a结束于i，此时y_i的表示为r^’_{k, i}。
通过Memory更新表示
先验的实体M=[r₁, r₂, …, r_k-1]，使用下面的公式可以通过Memory更新表示（原文写错了，纠正下）：

W：权重矩阵
u_{m_{: Memory中的第m个注意力分数

β_m: Memory中的第m个概率

r⁺_i: 对于部分实体y_k=[a, …, i]的更新表示的实体

使用r⁺_i来替换s_i，球的分数v_i,j}}
Memory-augmented的Pointer机制的用途

3. Teacher Forcing and Dynamic Sampling

在生成任务中，通常的做法是：
在训练的过程中，先使用编码器对文本进行编码，然后解码的过程中，解码器的输入使用的是标准答案；
在推理的过程中，先使用编码器对文本进行编码，然后在解码的过程中，解码器的输入是上一个解码结果。
所以这样会导致训练和推理过程的不一致。
本文的做法是：
设置一个阈值γ~[0, 1]，在训练的过程中，让它的值不断减少；在解码的每一步中，随机生成一个值τ；如果τ<γ，输入时标准答案，反之输入时前一个预测的结果。
这样在训练的过程中，逐渐由gold-biased转向predicted-biased。

《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》读后感相关推荐

GC13：XO独占游戏《神鬼寓言传奇》公布
作者: 来源: www.bts668.com 微软日前公布了<神鬼寓言传奇>(Fable Legends),该游戏是此系列作品的新作,将作为Xbox One游戏出现. 这款由狮子头工作室开 ...
Facebook 重金挖不到，ASP.NET 之父，微软大神“红衣教主”传奇
作者 | 伍杏玲出品 | CSDN (ID:CSDNnews) 2018 年底,微软"王者归来",时隔 16 年市值重返全球第一.人们纷纷用"力挽狂澜"&qu ...
乔布斯去世衍生多种周边产品（支持乔布斯请顶）
各种乔布斯肖像乔布斯公仔乔布斯立体纸人不管你是不是狂热的苹果粉丝,是不是拥有n多的苹果产品,苹果帮主乔布斯都应该值得我们纪念. "为什么说乔布斯改变了世界?没有 iPhone,就不会有 ...
一战封神！“中国飞人”苏炳添跑出9秒83到底有多牛？
公众号后台回复"图书",了解更多号主新书内容作者:CDA数据分析师来源:CDA数据分析师 [导读] 在刚刚结束的东京奥运会百米飞人大战上,中国选手苏炳添在半决赛跑出9秒83,刷新了 ...
乔布斯导演的最后一幕
连作者也说,他仅仅是这本书的写作者,真正的作者是乔布斯."中信出版社总编辑潘岳近日分享了<史蒂夫·乔布斯传>幕后的故事.这本传记预定期已达100万册,预估最终销量将达到500万册 ...
30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全
史上最牛的Linux内核学习方法论点击下载我的arm_linux移植笔记点击下载 S3C2440完全开发流程点击下载 Linux系统命令及其使用详解完整版点击下载 Linux ...
30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全...
史上最牛的Linux内核学习方法论点击下载我的arm_linux移植笔记点击下载 S3C2440完全开发流程点击下载 Linux系统命令及其使用详解完整版点击下载 Linux主要shell命 ...
养成励志的习惯，一生励志——文指星终极励志
语言的突破全集卡耐基 --励志经典点击下载人性的优点--卡耐基名著--励志经典点击下载人生格言精华总集点击下载人生定律与原则--励志经典点击下载厚黑学 ...
养成励志的习惯，一生励志
语言的突破全集卡耐基 --励志经典点击下载人性的优点--卡耐基名著--励志经典点击下载人生格言精华总集点击下载人生定律与原则--励志经典点击下载厚黑学 ...
【转】乔布斯经典语录
2011年8月25日消息,乔布斯辞去了苹果公司CEO的职务.10月6日,传来了他去世的消息.在此缅怀乔帮主的同时,与大家分享乔布斯在世时的经典语录.(来自于<乔布斯传>--神一样的传奇的附 ...

《Rethinking Boundaries: End-To-End Recognition of Discontinous Mentions with Pointer Networks》读后感