有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

作图属实不易！

ELMo 讲解

ELMo 的核心思想是，基于深度语言模型进行训练，学习不同语境下的词向量用于更好地配合下游任务。

ELMo 的主要创新点在于结合双向语言模型（Bidirectionbbal Language Model，BiLM）和深度模型以解决一词多义的问题。双向语言模型使得 ELMo 捕捉来自上文和下文的信息；借助深度学习的思想，ELMo 对双向语言模型深度化，通过多层 BiLM 的堆叠来获取不同层次的特征。这两点创新使得作为第二代预训练模型（pre-trained model）之一的 ELMo 不同于第一代预训练模型（如Word2Vec等），第一代预训练模型也被认为是静态模型，它们为一个单词分配一个词向量，这无法处理单词在不同语境下一词多义的情况，而动态模型 ELMo 可以根据每次输入句子的不同，输出不同的词向量，很好地解决了一词多义的问题。

本文不具体区分“词嵌入”和“词表示”等概念，对应英文中的“word embedding”和“word representation”，统一用“词向量”表达，不影响理解。

严谨来说，“word representation”的概念是大于“word embedding”的，“embedding”是“representation”的具体一种，“representation”可以有很多，比如“one-hot”。但是也有很多文献不对二者进行细致区分。

结构

【自然语言处理】ELMo 讲解相关推荐

[深度学习]自然语言处理 --- ELMo
原文链接:Deep contextualized word representations ELMO,是Embedding from Language Model的缩写( Peters等人,2018年 ...
自然语言处理 - ELMo
1. 提出背景在2013年的word2vec及2014年的GloVe的工作中,每个词对应一个vector,对于多义词无能为力.ELMo的工作对于此,提出了一个较好的解决方案.不同于以往的一个词对应一 ...
【自然语言处理】BERT 讲解
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 在阅读本篇之前建议先学习: [自然语言处理]Seq2Seq 讲解 [自然语言处理]Attention 讲解 [自然语言处理]ELMo 讲解 ...
如何兼容自训练与预训练：更高效的半监督文本分类模型
论文标题: Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining 论文作者: Zi ...
用计算机处理信息教学反思,《人工智能处理信息》教学反思
作业内容 <用智能工具处理信息>教学反思 <用智能工具处理信息>的学习目标是:1.初步了解人工智能的概念.2.知道人工智能的两个研究领域"自然语言理解"和& ...
November 2008
文哥十一月在听什么? 魔神英雄伝ワタル ed 君に止まらない.mp3 d51 セピア.mp3 zard - 心魅かれてく - 龙珠 gt 开场曲 dan dan.wma セピアの教室.mp3 超魔神英 ...
NLP之PTM：自然语言处理领域—预训练大模型时代的各种吊炸天大模型算法概述(Word2Vec→ELMO→Attention→Transfo→GPT系列/BERT系列等)、关系梳理、模型对比之详细攻略
NLP之PTM:自然语言处理领域-预训练大模型时代的各种吊炸天大模型算法概述(Word2Vec→ELMO→Attention→Transformer→GPT系列/BERT系列等).关系梳理.模型对比之 ...
【一文讲解深度学习】语言自然语言处理（NLP）第一篇
[一文讲解深度学习]语言自然语言处理(NLP) 博主介绍自然语言处理概述 NLP 的定义 NLP的主要任务分词词义消歧识别物体识别(NER) 词性标注(PoS) 文本分类语言生成问答(QA ...
【自然语言处理】Transformer 讲解
有任何的书写错误.排版错误.概念错误等,希望大家包含指正. 在阅读本篇之前建议先学习: [自然语言处理]Seq2Seq 讲解 [自然语言处理]Attention 讲解 Transformer 为了讲解 ...

【自然语言处理】ELMo 讲解

ELMo 讲解

结构

【自然语言处理】ELMo 讲解相关推荐

最新文章

热门文章