正向最大匹配、逆向最大匹配与双向匹配算法实现

分词词典：

import os
#正向向最大匹配法
def MM(text):#读取词典dictionary = []dic_path = r'F:\大三下\自然语言处理\chapter-4\dic.utf8'
# 在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符
# 它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析
# 解决办法:open的encoding参数
# for line in open(, encoding='utf_8_sig' ): for line in open(dic_path,'r',encoding='utf_8_sig'):line = line.strip()if not line:continuedictionary.append(line)dictionary = list(set(dictionary))#获取词典最大长度max_length = 0word_length = []for word in dictionary:word_length.append(len(word))max_length = max(word_length)    #切分文本cut_list = []text_length = len(text)  while text != '':if text_length < max_length:max_length = text_lengthnew_word = text[: max_length] # 以最长分词词典的词组长度最先匹配while new_word not in dictionary:new_word = new_word[: len(new_word)-1] # 不匹配时长度减一if len(new_word) == 1 :breakcut_list.append(new_word)  # 向列表中加入划分文本单词或词组text = text[len(new_word):] # 匹配时切除已匹配词return cut_list

MM("北京市民办高中")

分词结果：

import os
#逆向最大匹配法
def RMM(text):#读取词典dictionary = []dic_path = r'F:\大三下\自然语言处理\chapter-4\dic.utf8'
# 在windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符
# 它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析
# 解决办法:open的encoding参数
# for line in open(, encoding='utf_8_sig' ): for line in open(dic_path,'r',encoding='utf_8_sig'):line = line.strip()if not line:continuedictionary.append(line)dictionary = list(set(dictionary))#获取词典最大长度max_length = 0word_length = []for word in dictionary:word_length.append(len(word))max_length = max(word_length)    #切分文本cut_list = []text_length = len(text)while text_length > 0:j = 0for i in range(max_length, 0, -1):if text_length - i < 0:continue# 从右到左依次配对分词表new_word = text[text_length - i:text_length]if new_word in dictionary:cut_list.append(new_word)  # 挑拣出文本中在分词表相同的词text_length -= ij += 1break  if j == 0:text_length -= 1cut_list.append(new_word)  # 添加单字未匹配字符cut_list.reverse()  # 将列表中元素倒序排列return cut_list

RMM('北京市的民办高中')

分词结果：

调用以上函数实现双向匹配：

def BMM(text):print("MM: ", MM("北京市民办高中"))print("RMM: ", RMM("北京市民办高中"))while len(MM(text)) <= len(RMM(text)) :print(MM("北京市民办高中"))print('BMM:', RMM(text))

BMM("北京市民办高中")

分词结果:

正向最大匹配、逆向最大匹配与双向匹配算法实现相关推荐

Java---中文词匹配正向、逆向和双向最大匹配算法
完成正向.逆向和双向最大匹配算法 import java.io.*; import java.util.*;/*** 正向最大匹配* 逆向最大匹配* 双向最大匹配*/ public class Two ...
正向/逆向最大匹配法分词实现
最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描).例如:词典中 ...
正向（逆向）最大匹配和最大概率法分词的错误分析
正向最大匹配.逆向最大匹配.最大概率法是最简单的三种分词方式.本文从这三种分词方法产生的错误入手,观察他们分词的优缺点. 1.基本情况从语料中选取了200个句子作为样本,分别用三种不同的分词方式进行 ...
正向最大匹配和逆向最大匹配对比比较
正向最大匹配法 &逆向最大匹配法原理对比下面介绍的分词算法中最简单的正向最大匹配和反向最大匹配. 这种两种方法都是机械分词方法,它是按照一定的策略将待分析的汉字串与一个"充分大的 ...
词法分析-中文分词技术-正向最大匹配法与逆向最大匹配法
词法分析-中文分词技术-正向最大匹配法与逆向最大匹配法 Type真是太帅了于 2018-12-31 13:20:07 发布 1930 收藏 1 分类专栏: 编程版权编程专栏收录该内容 15 ...
【自然语言处理】正向、逆向、双向最长匹配算法的切分效果与速度测评
本文摘要 · 理论来源:[统计自然语言处理]第七章自动分词:[自然语言处理入门]第二章词典分词: · 代码目的:手写三种算法:正向最长匹配.逆向最长匹配.双向最长匹配,比较它们的单词切分效果与速度 ...
python最大分词_python正向最大匹配分词和逆向最大匹配分词的实例
正向最大匹配 # -*- coding:utf-8 -*- CODEC='utf-8' def u(s, encoding): 'converted other encoding to unicode ...
Python实现中文分词--正向最大匹配和逆向最大匹配
编译原理实验二:Python实现中文分词–正向最大匹配和逆向最大匹配最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数 ...
逆向最大匹配分词算法
逆向最大匹配分词算法 By Jorbe 2014/03/13 计算机科学 No Comments 中文分词是所有中文信息处理的基础.在数据挖掘.搜索引擎.自然语言处理等领域都起着至关重要的作用.中文分 ...
基于词典的逆向最大匹配中文分词算法，更好实现中英文数字混合分词
基于词典的逆向最大匹配中文分词算法,能实现中英文数字混合分词.比如能分出这样的词:bb霜.3室.乐phone.touch4.mp3.T恤.实际分词效果比正向分词效果好 publicclass RMM ...

正向最大匹配、逆向最大匹配与双向匹配算法实现

正向最大匹配、逆向最大匹配与双向匹配算法实现相关推荐

最新文章

热门文章