【论文浅析】Semi-supervised sequence tagging with bidirectional lm

本文对Semi-supervised sequence tagging with bidirectional language models一文做一个简短介绍，该文发表在ACL2017.

一、任务介绍

利用语言模型学习得到的RNN表示，来增强有监督的序列标注任务。

往往序列标注的数据集是有限的，在有限的数据下，模型很难学习到一个足够好的embedding来表示单词。

本文通过语言模型可以利用到大量没有标注的数据，来增强单词的语义表示。

二、模型

做法也很简单，

1）第一步用大量的未标注数据进行前向和反向语言模型的训练，预训练好两个RNN网络。

2）对于给定句子中每一个单词，例如“New”，先得到单词的embedding表示，然后经过第一层双向RNN，得到隐层表示。

这个时候该句子经过预训练好的两个RNN网络，得到New的前后RNN输出表示，与之前的网络隐层进行拼接，输入到第二层RNN网络中，进行序列标注。

比起正常的序列标注模型来，多了一个拼接预训练好语言模型的输出表示。这一块多余的东西还不用标注，岂不妙哉。

三、实验

主实验如table1所示，我们可以看出，性能从90.87提高了91.93，增加了一个多点，效果还是挺明显的。

至于语言模型的输出到底加在RNN的哪一层，作者也做了实验：

发现加在第一层RNN的输出的时候结果最好，不要问为什么，问了就是炼丹。

四、贡献

本文没有在基本的序列标注模型再继续搞一些fancy的骚结构，或者其它怼模型的操作，而是采用半监督方法创新的利用大量没有标注的数据来提高性能，很nice。

整篇文章通俗易懂，赏心悦目。

PS：如果觉得本文对你有任何帮助，希望右下角点个【在看】，谢谢。

往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习在线手册深度学习在线手册AI基础下载（pdf更新到25集）备注：加入本站微信群或者qq群，请回复“加群”获取一折本站知识星球优惠券，请回复“知识星球”

喜欢文章，点个在看

【论文浅析】Semi-supervised sequence tagging with bidirectional lm相关推荐

【论文分享】End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
ACL2016 <通过双向 LSTM-CNNs-CRF 的端到端序列标记> 主要内容: 该文章提出了一种不需要对数据集进行任何特征工程或预处理就可以实现生成序列标记的任务的方法. 流程: ...
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
转载请注明出处:https://blog.csdn.net/nocml/article/details/124860490 传送门: BERT(一)–论文翻译:BERT: Pre-training o ...
《论文阅读》Bidirectional LSTM-CRF Models for Sequence Tagging
<论文阅读>Bidirectional LSTM-CRF Models for Sequence Tagging Abstract Contributions Models Realizi ...
论文阅读《Bidirectional LSTM-CRF Models for Sequence Tagging》
论文地址:<Bidirectional LSTM-CRF Models for Sequence Tagging> 文章目录论文阅读研究背景 BI-LSTM-CRF 网络训练流程实 ...
[论文笔记]Bidirectional LSTM-CRF Models for Sequence Tagging
引言本文是论文Bidirectional LSTM-CRF Models for Sequence Tagging的阅读笔记.这篇论文是15年发表的,比上次介绍的那篇还要早. 首次应用双向LSTM+ ...
论文学习9-Bidirectional LSTM-CRF Models for Sequence Tagging（LSTM，BILSTM,LSTM-CRF,BILSTM-CRF
文章目录 1.Introduction 2 model 2.1 LSTM 2.2BI-LSTM BPTT 2.3 CRF 2.4 LSTM-CRF 参考文献本篇论文介绍了LSTM网络.BI-LSTM ...
Bidirectional LSTM-CRF Models for Sequence Tagging
Bidirectional LSTM-CRF Models for Sequence Tagging 摘要在本文中,我们提出了各种基于长短记忆(LSTM)的序列标记模型.这些模型包括LSTM ...
文献阅读 - Bidirectional LSTM-CRF Models for Sequence Tagging
Bidirectional LSTM-CRF Models for Sequence Tagging Z. H. Huang, W. Xu, K. Yu, Bidirectional LSTM-CRF ...
论文学习20-End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF（序列标注，2016ACL
文章目录 abstract 1.introduction 2.Architecture 2.1 CNN for Character-level Representation 2.2 BiLSTM 2. ...

【论文浅析】Semi-supervised sequence tagging with bidirectional lm

【论文浅析】Semi-supervised sequence tagging with bidirectional lm相关推荐

最新文章

热门文章