摘要和理解：

S表示一个有意义的句子，由一连串特定序列的词w1,w2,w3...,wn组成，n表示句子的长度。

S出现的概率： P(S) = P(w1,w2,w3...,wn)

条件概率—P(S) = P(w1) * P(w2|w1) * P(w3|w1,w2)...*P(wn|w1,w2...,wn-1)

马尔科夫假设—P(S) = P(w1) * P(w2|w1) * P(w3|w2)...P(wi|wi-1)*P(wn|wn-1) ——二元模型

P(wi|wi-1) = P(wi,wi-1)|P(wi-1) P(wi,wi-1)-联合概率 P(wi-1)-边缘概率

2.N元模型

3.模型的训练-使用语言模型需要知道模型中所有的条件概率，我们称之为模型的参数。通过对语料的统计，得到这些参数的过程称作模型的训练。统计语言的零概率问题-不平滑

4.古德-图灵估计：对于没有看见的事件，我们不能认为它发生的概率就是零，因此我们从概率的总量中，分配一个很小的比例给这些没有看见的事件。

5.训练数据-语料库的选取：噪音高低、过滤

转载于:https://my.oschina.net/xiaomu1994/blog/1491971

《数学之美》—统计语言模型相关推荐

数学之美——统计语言模型
广泛应用于:机器翻译,语音识别,印刷体或手写体的识别,拼音纠错,汉字输入和文献查询. 马尔科夫假设:N元模型(N-1阶马尔科夫假设):每个词和前面的N-1个词有关. N-1的一元模型就是上下文无关模型 ...
数学之美系列一 -- 统计语言模型
数学之美系列一 -- 统计语言模型 Posted on 2009-09-11 14:54 小y 阅读(576) 评论(0) 编辑收藏发表者: 吴军, Google 研究员前言也许大家不相信 ...
数学之美系列之一：统计语言模型 (Statistical Language Models)
前言也许大家不相信,数学是解决信息检索和自然语言处理的最好工具.它能非常清晰地描述这些领域的实际问题并且给出漂亮的解决办法.每当人们应用数学工具解决一个语言问题时,总会感叹数学之美.我们希望利用 G ...
数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
《数学之美》第3章统计语言模型
1 用数学的方法描述语言规律统计语言模型的产生的初衷是为了解决语音识别问题. 贾里尼克:一个句子是否合理,就看它的可能性大小如何.至于可能性就用概率来衡量. 马尔可夫:假设任意一个词出现的概率只同它 ...
数学之美笔录(1):统计语言模型
统计语言模型 (Statistical Language Models) 介绍在语言处理领域,比如翻译.识别语音.文字识别和进行海量文献的自动检索,出现了两种最基本的方法.第一种方法比较直接,就是让 ...
[zt]数学之美番外篇：平凡而又神奇的贝叶斯方法
数学之美番外篇:平凡而又神奇的贝叶斯方法 Tags: 数学, 机器学习与人工智能, 计算机科学 save it69 saved tags: 贝叶斯 math bayesian algorithm 数学 ...
N-gram统计语言模型(总结)
N-gram统计语言模型 1.统计语言模型自然语言从它产生開始,逐渐演变成一种上下文相关的信息表达和传递的方式.因此让计算机处理自然语言.一个主要的问题就是为自然语言这样的上下文相关特性建立数学模型 ...
转：数学之美番外篇：平凡而又神奇的贝叶斯方法收藏
为什么80%的码农都做不了架构师?>>> 转自:http://blog.csdn.net/pongba/archive/2008/09/21/2958094.aspx 数学之美 ...
数学之美系列八-- 贾里尼克的故事和现代语言处理
数学之美系列八-- 贾里尼克的故事和现代语言处理读者也许注意到了,我们在前面的系列中多次提到了贾里尼克这个名字.事实上,现代语音识别和自然语言处理确实是和它的名字是紧密联系在一起的.我想在这回的系 ...

《数学之美》—统计语言模型

摘要和理解：

《数学之美》—统计语言模型相关推荐

最新文章

热门文章