用 RNN 建立语言模型

今天来看循环神经网络的一个重要的应用：语言模型。

本文结构：

什么是语言模型？
语言模型的应用？
为什么用基于 RNN 的语言模型？
RNN 是如何实现语言模型的？
RNN 是如何实现 character-level 语言模型的？
character-level 语言模型的具体应用：生成莎士比亚风格的文本

1. 什么是语言模型？

语言模型，它的任务是要估计一个单词序列 $w_1, w_2, …, w_n$ 的概率 $P(w_1, w_2, …, w_n)$。通过语言模型，可以在给出前面的单词的条件下，根据这些文本数据学习单词出现的概率，并预测序列中的下一个单词是什么。 比较简单的模型可以学习短序列的单词，复杂一些的模型可以学习句子或者段落级别的任务，常见的是单词级别的模型。

2. 语言模型的应用？

语言模型最直接的应用是用来生成文本，而这个应用是很多自然语言处理任务的基本组件，机器翻译，语音识别，手写识别，拼写纠正，图片字幕，文字摘要等等都会用到。

例如在对话系统中，输入一句话后，可以有很多种可能的句子作为回应，每个句子有自己的概率，这时就可以根据语言模型选择概率最大的句子作为回应。<

用 RNN 建立语言模型相关推荐

基于RNN的语言模型与机器翻译NMT
语言模型传统的语言模型基于RNN的语言模型机器翻译基于统计的机器翻译架构基于RNN的seq2seq架构 seq2seq结构优化seq2seq attention search in dec ...
【笔记3-6】CS224N课程笔记 - RNN和语言模型
CS224N(六)Recurrent Neural Networks and Language Models 语言模型语言模型介绍 n-gram 基于窗口的神经语言模型 RNN RNN Loss a ...
chatbot2 RNN语言模型
基于RNN的语言模型 RNN语言模型理论基础参考文献 cbow/skip gram 的局限性#### 解决方案 rnn模型细节数学表示一个输入一个输出的不是循环神经网络. RNN语言模型实践 d ...
使用PaddleFluid和TensorFlow训练RNN语言模型
专栏介绍:Paddle Fluid 是用来让用户像 PyTorch 和 Tensorflow Eager Execution 一样执行程序.在这些系统中,不再有模型这个概念,应用也不再包含一个用于描述 ...
神经翻译笔记4扩展c. 2017-2019年间RNN和RNN语言模型的新进展
文章目录神经翻译笔记4扩展c. 2017-2019年间RNN和RNN语言模型的新进展 QuasiRNN FS-RNN Skip RNN 高秩RNN语言模型MoS IndRNN ON-LSTM Mog ...
斯坦福大学Christopher Manning：Transformer语言模型为什么能取得突破
2020 北京智源大会本文属于2020北京智源大会嘉宾演讲的整理报道系列.北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动,以国际性.权威性.专业性和前瞻性的" ...
Recurrent Neural Network系列2--利用Python，Theano实现RNN
作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS T ...
1.6 语言模型和序列生成-深度学习第五课《序列模型》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.5 不同类型的循环神经网络回到目录 1.7 对新序列采样语言模型和序列生成 (Language Model and Sequence Generation) 在自然语 ...
力荐 | 吴恩达《序列模型》精炼笔记（1）-- 循环神经网络（RNN）
AI有道不可错过的AI技术公众号关注序列模型(Recurrent Neural Networks)是Andrw Ng深度学习专项课程中的第五门课,也是最后一门课.这门课主要介绍循环神经网络(RN ...

用 RNN 建立语言模型

用 RNN 建立语言模型

1. 什么是语言模型？

2. 语言模型的应用？

用 RNN 建立语言模型相关推荐

最新文章

热门文章