基于统计语言模型的分词方法

20世纪80年代更早提出的分词方法大部分是基于词表进行的，称为基于词表分词方法。近10年来，随着统计方法的迅速发展，人们提出很多基于统计的模型分词方法和规则方法与统计方法相结合的分词技术，称为基于统计模型的分词方法。

假设随机变量S为一个汉字序列,W是S上所有可能切分出来的词序列，分词过程应该是求解条件概率P(W|S)最大的词序列W',即

W' = argwmaxP(W|S) -------------------------------1

根据贝叶斯公式：P(AB) = P(A)P(B|A)

= P(B)P(A|B)

1式变为：

W' = argwmaxP(W)P(S|W)/P(S) --------2

由于分母为归一化因子，因此2式变为：

W' = argwmaxP(W)P(S|W) -----------------------3

转载于:https://www.cnblogs.com/kaituorensheng/archive/2012/11/20/2779965.html

基于统计语言模型的分词方法相关推荐

一种基于自动机的快速分词方法
分词是自然语言处理入门的第一步,我参照导师的论文和写了一个基于自动机的快速分词方法: 其主要内容是字典的构建,字典的结构能够决定分词的效率: 本系统分词的实现,第一个字的查找采用的是hash,分词的时 ...
统计语言模型，平滑方法，困惑度
目录统计语言模型零概率问题和平滑方法拉普拉斯平滑 Add‐One 平滑 Add‐K 平滑插值平滑古德-图灵估计 Katz平滑困惑度(Perplexity) 统计语言模型统计语言模型的意义 ...
基于规则经验主义和基于统计的自然语言处理方法的比较
这学期为了逼着自己学,选了门NLP的课,之前一直没了解过,上了两次课后让写点看法,不才写就此文.就权当我为这门课攒个人品啦! /************************************ ...
NLP-基础任务-中文分词算法(2)-基于词典：基于N-gram语言模型的分词算法【基于词典的分词方法】【利用维特比算法求解最优路径】【比机械分词精度高】【OOV：基于现有词典，不能进行新词发现处理】
例子:"经常有意见分歧" 词典:["经常","有","意见","意","见",& ...
计算机毕设——中文分词方法研究与实现
毕业论文中文分词方法研究与实现 1．课题意义及目标中文分词技术不断发展,各种中文分词系统层出不穷.中文分词技术应用也原来越广泛.如搜索引擎的应用.语音识别系统.机器翻译.自动分类校对等.学生应通过 ...
kaggle信用卡欺诈看异常检测算法——无监督的方法包括：基于统计的技术，如BACON *离群检测多变量异常值检测基于聚类的技术；监督方法：神经网络 SVM 逻辑回归...
使用google翻译自:https://software.seek.intel.com/dealing-with-outliers 数据分析中的一项具有挑战性但非常重要的任务是处理异常值.我们通常将异 ...
Macropodus中文分词方法综述详解(CWS, chinese word segment)
一.Macropodus简介 Macropodus自然语言处理工具(Albert+BiLSTM+CRF) 拥有中文分词命名实体识别新词发现关键词文本摘要计算器中文数字阿拉伯数字转换等算法 ...
bilstm+crf中文分词_基于LSTM的中文分词模型
中文分词任务是一个预测序列的经典问题,已知的方法有基于HMM[1]的分词方法.基于CRF[2]的方法和基于LSTM的分词方法. 本文介绍Xinchi Chen等人[3]提出的基于LSTM的分词方法.根 ...
NLP入门(1)-词典分词方法及实战
分词是自然语言处理中最基本的任务之一,而词典分词是最简单.最常见的分词算法,仅需一部词典和一套查词典的规则即可. 利用词典分词,最主要的是定制合适的切分规则.规则主要有正向最长匹配.逆向最长匹配和双向 ...
基于Python实现的词典分词方法或统计分词方法
资源下载地址:https://download.csdn.net/download/sheziqiong/85787813 资源下载地址:https://download.csdn.net/downl ...

基于统计语言模型的分词方法

基于统计语言模型的分词方法相关推荐

最新文章

热门文章