一、详细过程

拼写纠错任务目标是找到概率最大的 p(correct|incorrect)比如：incorrect='appl'，而correct 可以为任何词，我们的目的就是要找到哪个词作为correct时，能使的p(correct|incorrect)最大，但是，当没有任何日志的时候，我们无法直接得到max(p(correct|incorrect)),因此可以根据贝叶斯定律：

p(correct|incorrect)=p(incorrect|correct)*p(correct)

那么求max(p(correct|incorrect))就变成求max(p(incorrect|correct)*p(correct))，理论我们要计算所有的词写成appl的概率，显然这个是不现实，根据先验知识，哪些词较大概率写成appl呢？，当然是和appl编辑距离为1的单词，所以我们可以把与appl编辑距离为1的单词列举出来并过滤到不是正确单词的词，作为候选集（相当于推荐中的召回，从所有的单词中，召回编辑距离为1的单词）。

在没有日志前，可以把所有编辑距离为1的单词的写错成appl的概率认为相同的，那么p(correct)最大，那么这个correct就是最可能是appl对应的正确的词。

关键是p(correct)是怎么计算的到的呢？

p(correct)计算需要通过语言模型，语言模型可以通过语料统计而来，uigram语言模型就是能计算p(word)

的概率（其实就是根据词频），而bigram语言模型就是能计算p(word1|word2)的概率，同理trigram，就是能计算p(word1|word2,word3)的概率，举个例子：

假如我们的语料库是：I like it, beacuse it is very interesting.

根据这个语料库，我们得到的uigram模型是：p(word)=每个单词出现的次数/语料库总词数

得到的bigram模型：p(word1|word2)=每个单词word1出现在word2之后的次数/word1在语料库出现的总次数

比如：p(it|like)=1/2而 p(like|I)=1

那么言归正传 p(correct)的计算，就是根据已经训练好的模型，依次计算每个候选的correct单词的P（correct）,假如是采用uigram模型，那就是计算哪个correct单词在语料库出现的次数多，哪个就是最可能正确的单词，显然这种不是很准，我们一般采用bigram或trigram语言模型来计算p(correct)，也就是我们要考虑appl之前是什么单词，如果前一个单词是乔布斯，则就是计算p（correct|乔布斯），根据语言模型得到哪个候选correct最大。

二、总结一下，拼写纠错的一般步骤：

1、首先检测出是哪个单词发生了拼写错误

这可以通过查字典来实现，比如依次扫描每个单词，若该单词不在词典中(未被词典收录)，则认为它是一个拼写错误的单词。显然，词典越大，词典收录的单词越多，我们就越能正确检测出错误的单词。

2、其次，找到一组候选集

常用的就可以通过“编辑距离算法”来实现

3、根据贝叶斯从候选词中找到最有可能能的正确单词

p(correct|incorrect)=p(incorrect|correct)*p(correct)=候选词写错成incorrect的概率*候选词在语言模型中合理的概率

三、实战举例：

输入：
This is a useful appl

1、根据字典匹配发现 appl是拼写错的单词

2、根据编辑距离，找到正确的候选集：app,apple,apply...

英文拼写纠错-超详细演示相关推荐

一个英文拼写纠错的思路（English Spelling check）
分享一个英文拼写纠错的思路,暂时无完整代码,后续如果实现会继续更新英文拼写纠错这个问题由来已久,在这方面做的最好的就是谷歌了,现在我想自己实现一下这个功能,才疏学浅,分享一下自己的小想法.如果大家有 ...
Vue指令超详细演示理解
一:插值表达式将data中定义的数据显示到模板上. 在vue中{{ }}语法,叫做:插值表达式,大白话就是输出{{ }}中的表达式的值的语法. 把{{ }} 理解为一个占位符(一个坑), {{ ms ...
什么是云开发？小程序实例超详细演示～
学习视频: 八分钟读懂云开发_哔哩哔哩_bilibili 小姐姐带你30分钟创建并上线小程序项目[云开发实战]_哔哩哔哩_bilibili 参考资料: 微信开放文档 (qq.com) 云开发_百度百科 ...
中文拼写纠错_中英文拼写纠错开源框架梳理
一.中文: 1.Pycorrector:https://github.com/shibing624/pycorrector 当前主流的中文纠错框架,支持规则和端到端模型 2.FASPell:https ...
NLP-文本处理：拼写纠错【非词（编辑距离）、真词（编辑距离...）候选词 -＞ “噪音通道模型”计算候选词错拼成待纠错词的似然概率 -＞ N-gram模型评估候选词组成的语句合理性】
一.贝叶斯公式 1.单事件 P(Ax∣B)P(A_x|B)P(Ax∣B)=P(AxB)P(B)=P(B∣Ax)×P(Ax)P(B)=P(B∣Ax)×P(Ax)∑i=0n[P(B∣Ai)∗P(Ai)] ...
中英文拼写纠错开源框架梳理
一.中文: 1.Pycorrector:https://github.com/shibing624/pycorrector 当前主流的中文纠错框架,支持规则和端到端模型 2.FASPell:https ...
2020 年中英文拼写纠错开源框架梳理
一.中文: 1.Pycorrector:https://github.com/shibing624/pycorrector 当前主流的中文纠错框架,支持规则和端到端模型 2.FASPell:https ...
常用Linux命令及其作用（超详细，带演示）
常用Linux命令及其作用(超详细,带演示) 文章目录常用Linux命令及其作用(超详细,带演示) 1. 提前了解 1.1 终端命令格式 1.2 --help 1.3 man command 查询使 ...
Nginx实战部署常用功能演示(超详细版)，绝对给力~~~
前言上次分享了一些开发过程中常用的功能,但如果到真实环境中,其实还需要一些额外的配置,比如说跨域.缓存.配置SSL证书.高可用等,老规矩,还是挑几个平时比较常用的进行演示分享.上篇详见Nginx超详 ...

英文拼写纠错-超详细演示

一、详细过程

二、总结一下，拼写纠错的一般步骤：

三、实战举例：

英文拼写纠错-超详细演示相关推荐

最新文章

热门文章