自然语言处理实验—分词算法

最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。
首先，自然语言处理，英文是(Nature Language Process)，简称“NLP"。是人工智能发展的的热门方向，也是和人交互最为相关的人工智能的应用方向。因为是和人打交道，那么需要以人的交流方式–语言来进行交互。
下面给大家介绍NLP里面最基础的算法–分词算法。

1.词典

一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。比如，“吃饭”，“睡觉”等。从而过滤掉那些没有实际意义的词。比如，“的是”，“是吃”等。
目前比较熟著名且成熟的词典有：
搜狗实验室发布的互联网词库（SogouW，其中有15万个词条）
清华大学开放中文词库（THUOCL）
码农场千万级巨型汉语词库（千万级词条）

2.切分算法介绍

这里介绍常用的切分算法，具体分为完全切分、正向最长匹配、逆向最长匹配、双向最长匹配算法。

2.1 完全切分

完全切分指的是，找出一段文本中的所有有意义单词，不是标准意义上的分词。
具体实现在代码实现部分的fully_segment的函数部分

2.2 正向最长匹配

就是说从前往后，递增查词，优先输出更长的单词。
具体实现在代码实现部分的forward_segment的函数部分

2.3 逆向最长匹配

与正向最长匹配相反，从后往前，递减查词，优先输出更长的单词，据统计这种方法更具可靠性。
具体实现在代码实现部分的backward_segment的函数部分

2.4 双向最长匹配

属于对正向最长匹配和逆向匹配的折中方案。属于融合两种匹配方法的复杂规则集，流程如下：
1.同时执行正向最长匹配和逆向最长匹配，若两者的次数不同，则返回次数更少的那一个。
2.如果相等，返回两者中单字更少的那一个，当单子数也相同时，优先返回逆向最长匹配的结果。
具体实现在代码实现部分的all_segment的函数部分

3.代码实现

这里引用了几个经典的例子。读者可以自行修改体验。运行代码时，要输入的句子可以是“项目的研究”“商品和服务”“研究生命起源”“当下雨天地面积水”“结婚的和尚未结婚的”“欢迎新老师生前来就餐”。

def select_word(text):result = 0for i in text:if(len(i)==1):result += 1return result
def fully_segment(text,dic):word_list = []for i in range(len(text)):for j in range(i+1,len(text)+1):word=text[i:j]if word in dic:word_list.append(word)return word_list
def forward_segment(text,dic):word_list = []i = 0while(i<len(text)):longest_word = text[i]for j in range(i+1,len(text)+1):word = text[i:j]if word in dic:if len(word)>len(longest_word):longest_word = wordword_list.append(longest_word)i += len(longest_word)return word_list
def backward_segment(text,dic):word_list = []i = len(text)-1while(i>=0):longest_word = text[i]for j in range(0,i):word = text[j:i+1]if word in dic:if len(word)>len(longest_word):longest_word = wordword_list.insert(0,longest_word)i -= len(longest_word)return word_listdef all_segment(text,dic):list_forward = forward_segment(text,dic)list_backward = backward_segment(text,dic)list_final = []if(len(list_forward)>len(list_backward)):list_final = list_backward[:]elif(len(list_forward)<len(list_backward)):list_final = list_forward[:]else:if(select_word(list_forward)>select_word(list_backward)):list_final = list_backward[:]elif(select_word(list_forward)<select_word(list_backward)):list_final = list_forward[:]else:list_final = list_backward[:]return list_final
dic = [ "项目","研究","目的","商品","服务","和服","研究生","结婚","和尚","结婚","尚未",\"生命","起源","当下","雨天","地面","积水","下雨天","欢迎","老师","生前","就餐","迎新","师生","前来"]if __name__ == "__main__":while(1):a = input("请输入你要分词的句子：（输入0结束输入）")if(a=='0'):print("输入结束！")breakb = fully_segment(a,dic)print("分词的结果",b)list_forward = forward_segment(a,dic)list_backward = backward_segment(a,dic)list_all = all_segment(a,dic)print("正向最长匹配",list_forward)print("逆向最长匹配",list_backward)print("双向最长匹配",list_all)

输出结果分析

序号	原文	正向最长匹配	逆向最长匹配	双向最长匹配
1	项目的研究	[‘项目’, ‘的’, ‘研究’]	[‘项’, ‘目的’, ‘研究’]	[‘项’, ‘目的’, ‘研究’]
2	商品和服务	[‘商品’, ‘和服’, ‘务’]	[‘商品’, ‘和’, ‘服务’]	[‘商品’, ‘和’, ‘服务’]
3	研究生命起源	[‘研究生’, ‘命’, ‘起源’]	[‘研究’, ‘生命’, ‘起源’]	[‘研究’, ‘生命’, ‘起源’]
4	当下雨天地面积水	[‘当下’, ‘雨天’, ‘地面’, ‘积水’]	[‘当’, ‘下雨天’, ‘地面’, ‘积水’]	[‘当下’, ‘雨天’, ‘地面’, ‘积水’]
5	结婚的和尚未结婚的	[‘结婚’, ‘的’, ‘和尚’, ‘未’, ‘结婚’, ‘的’]	[‘结婚’, ‘的’, ‘和’, ‘尚未’, ‘结婚’, ‘的’]	[‘结婚’, ‘的’, ‘和’, ‘尚未’, ‘结婚’, ‘的’]
6	欢迎新老师生前来就餐	[‘欢迎’, ‘新’, ‘老师’, ‘生前’, ‘来’, ‘就餐’]	[‘欢’, ‘迎新’, ‘老’, ‘师生’, ‘前来’, ‘就餐’]	[‘欢’, ‘迎新’, ‘老’, ‘师生’, ‘前来’, ‘就餐’]