ELMo: Deep contextualized word representations
Abstract
本文介绍一种新型的上下文词表示可以建模：
- 词的复杂用法特征（例如句法或者语义特征）
- 在不同的语言上下文中的用法变化（例如多义词）
我们的词向量是学到的深度双向语言模型（biLM）内部状态的函数，这个 biLM 是在大量文本语料上预训练的结果。我们展示了这些表示可以很容易地加入已有的模型并在六项 NLP 任务上显著提升了 SOTA.
Introduction
预训练的词向量（Word2Vec, GloVe 等）是很多神经语言理解模型中的关键。
我们在大量文本语料上使用语言模型 （LM）目标预训练一个双向 LSTM, 然后从中得到词向量。我们将这种词向量命名为 ELMo (Embeddings from Language Models). 与之前学习上下文词向量的方法不同，ELMo 是深度词向量，因为 ELMo 词向量是 biLM 所有内部层状态的函数。具体来说，我们对每个下游任务训练一个线性组合函数，这种方式明显地提升了模型的表现，即便是在只使用 LSTM 最后一层状态的情况下。
我们发现高层的 LSTM 状态能够捕获一些上下文相关的词义（例如可以直接用于词义消歧任务），而较低层的状态则能捕获一些句法上的信息（例如可以用来做 POS 标注）。同时使用这些层的状态大有好处，允许模型选择对每个任务最有用的半监督信号。
模型和代码：
ELMo: Deep contextualized word representations相关推荐
- Paper：《ELMO：Deep contextualized word representations》翻译与解读
Paper:<ELMO:Deep contextualized word representations>翻译与解读 目录 <ELMO:Deep contextualized wor ...
- 论文笔记--Deep contextualized word representations
论文笔记--Deep contextualized word representations 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 BiLM(Bidirectional Langu ...
- Deep contextualized word representations
引言 这是2018年NAACL上的Best Paper,即是大名鼎鼎的ELMo,原文地址:https://arxiv.org/pdf/1802.05365.pdf 对比传统Word2Vec这种形式的词 ...
- 文献阅读 - Deep Contextualized Word Representations
Deep Contextualized Word Representations M. E. Peters, M. Neumann, M. Iyyer, M. Gardner, et al., Dee ...
- ELMo：最好用的词向量（Deep contextualized word representations）论文 pdf
下载地址:https://u20150046.ctfile.com/fs/20150046-376633397 作者:Matthew E. Peters, Mark Neumann, Mohit Iy ...
- Contextual Word Representations and Pretraining
一.Word Representations 在2018年之前,我们使用的词向量表征技术主要有三个:Word2Vec.Glove.FastText.但是这三个方法都普遍存在在一些问题,就是无法解决一次 ...
- [Embeding-1]Efficient Estimation of Word Representations in Vector Space 译文
1. abstract 我们提出了两种新的模型结构,用于计算非常大数据集中单词的连续矢量表示.这些表示的质量是在一个词相似性任务中测量的,并将结果与以前基于不同类型神经网络的最佳表现技术进行比较.我们 ...
- NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space
译者按: 2013年,Google开源了一款用于词向量计算的工具--word2vec,引起了工业界和学术界的关注.首先,word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练:其次,该工 ...
- nlp论文——《Efficient Estimation of Word Representations in Vector Space》（向量空间中词表示的有效估计）
目录 <Efficient Estimation of Word Representations in Vector Space> 第一课时:论文导读 (1)语言模型 (2)词向量简介-- ...
最新文章
- 四连通，和八连通的详解（MATLAB）
- 慧荣科技获GSA年度大奖
- Ubuntu10 上安装Vmware Tools注意
- 2008r2添加没有应用程序服务器,将应用程序移动到服务器2008R2 64位时的AccessViolationException...
- linux date 小写h,linux date 命令详解［转载］
- baidumap vue 判断范围_百度地图 vue-baidu-map
- 伟大公司为什么需要技术型领导？
- python参数的解包(拆包)（一分钟读懂）
- Leetcode376.摆动序列
- ubb码转换的java类库 ubb2html_ubb代码转换为html
- 十六进制编辑器--ImHex
- 计算机5800计算道路标高程序,CASIOfx-5800p计算器土木工程测量计算程序开发与应用...
- SecureCRT+SecureFX 7.1.1.264整合版 - SSH和SFTP客户端
- 贪心科技机器学习训练营（十）
- 组合模型——Tree models、Boosting、 Committee
- 计算机学科全国211大学排名,49所985、211重点大学排名第一的专业！
- 2015年3月CCF软考试题
- 扯淡之——世界上先有鸡还是先有鸡蛋
- 高级语言编译的六个过程，解释程序和编译程序的区别
- Predictive and Prescriptive Methods in Operations Research and Machine Learning: An Optimization App