1. 语料库准备

（需要的私聊博主）

2.处理语料文档

2.1处理多余字符

def string_process(x):    #处理字符串a=re.sub(r'\d{8}-\d{2}-\d{3}-\d{3}/m|[/a-z！。”“，、——\[\]（）：《》……A-Z？]', "", x)
#前面时间的正则表达式,后面部分删掉字母和其他符号b=a.replace("  "," ")return b.rstrip()

2.2 处理字典数据集

def file_process():s=""with open('199801-train.txt','r',encoding='UTF-8') as f:for line1 in f:a=string_process(line1)a=string_process(a)s+=a+"\n"f.close()with open("process_1.txt",'w',encoding='UTF-8') as w:w.write(s)w.close()

2.3处理测试数据集

def test_file_process(): s = ""with open('199801-test.txt', 'r', encoding='UTF-8') as f:for line1 in f:a = string_process(line1)a = string_process(a)s += a + "\n"f.close()with open("test_process_1.txt", 'w', encoding='UTF-8') as w:w.write(s)w.close()

2.4处理测试集空格

def delete_space():f = open('test_process_1.txt','r', encoding='utf-8')f2 = open('test_endfile.txt', 'w', encoding='utf-8')s = f.read()r = ''.join(s.split())f2.write(r)

3.FMM

training_words = 'result.txt'def get_dic(training_words):with open(training_words,'r',encoding='utf-8') as f:try:file_content = f.read().split()finally:f.close()chars = list(set(file_content))return charsdic = get_dic(training_words)def readfile():max_length=0for i in dic:max_length=max(max_length,len(i))##获得最大长度zz=max_lengthf=open("test_endfile.txt",'r',encoding='utf-8')ff=open("生成文档正向最大匹配(真).txt",'w',encoding='utf-8')lines=f.readlines()f.close()for line in lines:#分别对每一行进行正向最大匹配处理max_length=zzmy_list=[]len_hang=len(line)while len_hang>0:tryW=line[0:max_length]##切割字符串while tryW not in dic:if len(tryW)==1:#长度为1的时候就直接退出break;tryW=tryW[0:len(tryW)-1]my_list.append(tryW)line=line[len(tryW):]len_hang=len(line)for i in my_list:ff.write(i+"/")ff.close()print("complete !!!")
readfile()

4.BMM


training_words = 'result.txt'def get_dic(training_words):with open(training_words,'r',encoding='utf-8') as f:try:file_content = f.read().split()finally:f.close()chars = list(set(file_content))return charsdic = get_dic(training_words)def readfile():max_length=0for i in dic:max_length=max(max_length,len(i))##获得最大长度zz=max_lengthf=open("测试.txt",'r',encoding='utf-8')ff=open("生成文档逆向最大匹配.txt",'w',encoding='utf-8')lines=f.readlines()f.close()for line in lines:#分别对每一行进行逆向最大匹配处理max_length=zzmy_list = []len_hang=len(line)while len_hang>0:tryW=line[max(0,len_hang-max_length):len_hang]#防止溢出while tryW not in dic:if len(tryW)==1:break;tryW=tryW[1:len(tryW)]#这里注意，一直是从1开始的my_list.append(tryW)line=line[0:len_hang-len(tryW)]len_hang=len(line)while len(my_list):tt=my_list.pop()#这里类似栈的操作ff.write(tt+"/")ff.close()
readfile()##012345

【中文分词】 FMM BMM （python）相关推荐

中文分词算法python代码_python实现中文分词FMM算法实例
本文实例讲述了python实现中文分词FMM算法.分享给大家供大家参考.具体分析如下: FMM算法的最简单思想是使用贪心算法向前找n个,如果这n个组成的词在词典中出现,就ok,如果没有出现,那么找n- ...
中文分词算法python_python实现中文分词FMM算法实例
本文实例讲述了python实现中文分词FMM算法.分享给大家供大家参考.具体分析如下: FMM算法的最简单思想是使用贪心算法向前找n个,如果这n个组成的词在词典中出现,就ok,如果没有出现,那么找n- ...
基于条件随机场模型的中文分词改进（Python中文分词）
目录改进分词速度一.更改存储特征值的数据结构二.缩短对语料库的遍历时间(对语料库的预处理) 三.先将所有的特征值保存到数据库中改进分词的准确度实验项目和结果截图实验项目保存特征值时采用多 ...
词频统计，中文分词FMM，BMM博客
分词 | 双向匹配中文分词算法python实现 https://blog.csdn.net/Elenore1997/article/details/83274720 正向最大匹配算法实现之python ...
自然语言处理之中文分词（基于Python)
人生苦短,我用python 除了给你生孩子,python都能给你做到. 这句话所言不假,python拥有丰富的库,能完成各种各样的的功能. 只有你想不到的,没有python做不到的.下面我们来看看py ...
简易中文分词算法(python)_自然语言处理（NLP）中的的中文分词算法及 Python 实现...
本 Chat 首先简单介绍了自然语言处理中中文分词的概念和应用场景.然后通过两个简单的小例子展示了算法的步骤.接着编写了 Python 代码,并在<红楼梦>上做了测试.最后,总结了我在写代 ...
中文分词算法python_python 中文分词——FMM 算法 | 学步园
FMM import re def PreProcess(sentence,edcode="utf-8"): sentence = sentence.decode(edcode) ...
中文分词算法及python代码实现（持续更新中）
文章目录 1. 机械分词算法 1.1. 正向最大匹配算法 1.2. 逆向最大匹配算法参考链接: https://blog.csdn.net/lcwdzl/article/details/784936 ...
正向最大匹配算法 python代码_中文分词算法之最大正向匹配算法（Python版）
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的. 正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配. 首先我们可以规定一个词的最大长度,每次扫描的时候 ...
python最大分词_中文分词算法之最大正向匹配算法（Python版）
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的. 正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配. 首先我们可以规定一个词的最大长度,每次扫描的时候 ...

【中文分词】 FMM BMM （python）

1. 语料库准备

2.处理语料文档

2.1处理多余字符

2.2 处理字典数据集

2.3处理测试数据集

2.4处理测试集空格

3.FMM

4.BMM

【中文分词】 FMM BMM （python）相关推荐

最新文章

热门文章