使用正向/逆向/双向三种算法进行分词操作

编写FMM函数

import re
from collections import Counter
import jieba.posseg as pseg
global dic
def getFresult(str):if len(str) == 1 or str in dic:return strelse:return getFresult(str[0:-1])
def FMM(S1, maxlen):S2 = ""startindex=0while startindex < len(S1):word = getFresult(S1[startindex:min(startindex+maxlen, len(S1))])S2 += word+"/"startindex += len(word)return S2.rstrip('/')

读取数据并进行一些预处理

并没有单纯地将标点符号直接去除，而是将其作为一种提示，将句子划分为若干个子句

S1 = open("corpus.sentence.txt", 'r', encoding='utf-8').read()
dic = open("corpus.dict.txt", 'r', encoding='utf-8').read()
standard = open("corpus.standard.txt", 'r', encoding='utf-8-sig').read()
# 将S1按照标点符号分隔成若干字句
SS = re.split("\n|、|，|。|;|：|“|”|（|）|‘|’|；|？|《|》|\\s", S1)

计算结果

Fresult = '/'
Fresult = Fresult.join([FMM(s, 10) for s in SS if s != ''])
print(Fresult)

青岛/优化/资本/结构/促进/企业/规模/扩大/以/组建/在/国内外/具有/实力/影响/的/大公/司/大集/团/为/目标/进行/的/资本/结构/优化/正在/给/青岛/经济带/来/新/的/活力/近两年来/青岛/这个/中国/沿海/十四个/开放/城市/之一/的/城市/在/资金/及/政策/上/重点/支持/了/五十个/名牌产品/和/五十个/重点/企业/集中力量/发展/了/电子/机械/石化/橡胶/家电/和/饮料/六大/支柱产业/目前/青岛/的/资本/运营/形式/已/呈/兼并/联合/参股/控股/收购/等/多元化/态势/在/市场/的/引导/下/一批/实力/强劲/的/企业/迅速/组建/大集/团/到/去年底/海尔集团/的/销售收入/已/突破/六十/亿元/发展/为/拥有/九十九个/法人/企业/产品/规模/达到/三千多/个/品种/的/以/家电/为主/集/科工贸/和/三产/于/一体/的/在/国内外/知名度/很/高/的/大集/团/青/啤/公司/近年/也/开始/跨地区/经营/和/异地/投资/一九九四年/该/公司/收购/了/扬州/啤酒厂/啤酒/产量/扩大/六点/五万/吨/一九九五年/又/以/八千/二百五十万/元/控股/西安/汉斯/啤酒厂/据/了解/青/啤/公司/到/一九九五年/底/国有资产/已达/九亿/元/本世纪末/这家/企业/的/目标/是/年产/青岛/啤酒/一百四十/万吨/资本/结构/的/优化/使/青岛/一批/企业/迅速/崛起/青/啤/公司/海尔集团/和/双星集团/的/产品/品牌/已/先后/被/认定/为/中国/驰名商标/据/青岛市/第三次/工业/普查/证实/青岛/啤酒/海尔/冰箱/和/双星/运动鞋/的/出口量/已/分别/占/中国/同类/商品/出口量/的/百分之九十/百分之三十/和/百分之十四/中国/金融/对外开放/稳步/前行/随着/中国/金融/开放/向/广度/和/深度/发展/中国/外资/金融机构/的/数量/和/种类/不断/增加/目前/获准/在/上海浦东/经营/人民币/业务/的/外资银行/已达/九家/外资/金融机构/已成/为/中国/金融业/的/一支/重要/力量/据统计/截至/今年/三月底/中国/营业性/外资/金融机构/达/一百五十/八家/其中/分行/一百三十/二家/合资/银行/七家/独资/银行/五家/外/合/资财/务/公司/五家/保险公司/八家/中外合资/投资银行/一家/各类/金融机构/的/代表处/五百/二十八/家/中国/已有/二十四个/城市/被/批准/允许/设立/营业性/外资/金融机构/外资/金融机构/业务量/也/增长/迅速/到/去年底/其/总资产/为/三百/亿美元/比/上年/增长/百分之五十六点/三/去年/年底/中国人民银行/颁布/了/上海浦东/外资/金融机构/经营/人民币/业务/试点/暂行/管理/办法/目前/人行/上海市分行/等/有关/部门/正在/加紧/制定/实施细则/和/税收/等/综合/配套/政策/中国人民银行/行长/戴相龙/日前/曾/公开/表示/中国/将/继续/扩大/金融业/对外开放/据悉/今年/中国人民银行/将/在/积极/做好/外资银行/在/上海浦东/经营/人民币/业务/试点工作/的/基础/上/及时/总结/和/积累/经验/为/今后/扩大/试点/范围/做/准备/并/将/逐步/扩大/国外/保险机构/和/投资银行/在/华/数量/同时/积极/推动/中外合资/基金/管理/公司/管理/暂行办法/的/颁布/人民银行/还/将/合理/确定/外资/金融机构/数量/和/地区/分布/加强/与/外国/银行/监管/当局/和/国际金融/监管/组织/的/合作/今后/外资/金融机构/进入/中国/金融市场/的/深度/和/广度/必将/得到/扩展/专家/呼吁/可可西里/亟待/加大/保护/世界/最/干净/的/地方/正在/遭受/着/人类/的/破坏/在/周三/举行/的/中国野生动物保护协会/成立/十五/周年/座谈会/上/许多/专家/不约而同/地/提到/了/可可西里/在/那里/特有/的/植被/正在/被/人类/践踏/珍稀动物/被/人类/捕杀/中国科学院动物研究所/研究员/中国/青藏高原/研究会/常务理事/冯祚建/接受/记者/专访/时说/可可西里/位于/青藏高原/腹地/北界/昆仑山/南临/唐古拉山/海拔/五千米/面积/八点/三万/平方公里/属于/高寒/地区/可可西里/特有/的/植物/物种/有/八十多种/特有/鸟类/七种/兽类/十一种/藏羚羊/野牦牛/藏野驴/雪豹/宗熊/盘羊/等/都/是/珍稀动物/若/从/遗传/资源/的/角度/来看/野牦牛/是/家牦牛/的/祖先/现在/家牦牛/已经/开始/退化/野牦牛/可作/改良/家畜/品种/的/资源/还有/可可西里/高寒/植被/组成/的/生态系统/比较/特殊/其中/高寒/草原/高寒/草垫/高寒/荒漠/草原/等/在世界上/都/具有/典型/意义/冯/教授/说/可可西里/是/不可多得/的/自然/宝藏/可/目前/正/被/人类/蚕食/从/一九八四年/至今/在/青海/太阳/湖/地区/许多/挖/金/的/农民/把/拖拉机/卡车/开进/了/无人区/一两万/人/的/生活/垃圾/污染/了/环境/珍稀/野生动物/成/了/猎食/对象/植被/被/大车/压/成/了/路面/淘金/所/挖/的/十几米/的/洞/到处/都/是/现在/那里/已经/很/难看/见/大/的/野生动物/了/常见/的/倒/是/它们/的/尸骨/近几年来/由于/国际/市场/上/藏羚羊/绒/织/的/披肩/围巾/价值/不菲/许多/偷猎者/闯入/可可西里/大规模/猎杀/藏羚羊/据估计/十年/来/大约/有/两万/只/藏羚羊/被/杀/而/一九九五/到/一九九七年/查出/的/猎杀/藏羚羊/就/有/三千/只/专家/们/感到/忧虑/长期/这样/下去/将/给/珍稀/野生动物/带来/灭顶之灾/甘肃省/国民经济/今年/继续/保持/较快/增长/今年以来/中国/西部/经济/久/发达/省份/甘肃/在/加大/投资/力度/大力发展/非公有制/经济/大力/推动/企业/改组/改造/等/一系列/政策/的/推动/下/全省/国民经济/继续/保持/了/较快/增长/据/初步/测算/今年/这个/省/国内/生产总值/将/达到/八百/七十/亿元/今年/甘肃省/全年/粮食产量/创/历史/最好/水平/达到/八百/七十万/吨/棉花/油料/药材/蔬菜/等/主要/经济作物/产量/均/有/较大/幅度/增长/畜牧业/也/保持/了/持续/稳定/发展/的/势头/全省/猪/牛羊肉/总产量/达/五十二/点三万/吨/比/去年/增长/百分之六点/零/九/乡镇企业/继续/成为/推动/甘肃省/农村/经济/发展/的/主要/力量/之一/预计/全年/全省/乡镇企业/增加值/将/达到/一百六十五/点/一亿元/今年/甘肃省/工业生产/在/困境/中保/持稳定/运行/预计/全省/工业/将/完成/增加值/三百/一十/一点/八亿/元/比/上年/增长/百分之七点/五/股份制/企业/外商/及/港澳台/投资/企业/保持/了/较/高/增速/今年/是/甘肃省/固定资产/投资/力度/最大/的/一年/达到/三百三十一/亿元/较/上年/增长/百分之二十五/点四/基本建设/成为/带动/投资/总量/增长/的/主要/力量/这个/省/通过/向/基础产业/基础设施/倾斜/使/投资/结构调整/取得/了/显著/成效/这个/省/的/对外贸易/今年/继续/保持/了/顺差/局面/预计/全年/实现/外贸/进出口/总额/五点/五亿/元/吉林长春/开发/经济/适用房/吉林省/长春市/今年/规划/的/首批/经济/适用房/工程/目前/已/全面/开工/并且/有望/在/今年年底/首期/竣工/六十五/万平方米/开发/经济/适用房/是/中国政府/为/扩大/国内/需求/而/采取/的/一项/比较/重要/的/措施/这种/按照/经济/适用/微利/的/标准/以/专项/贷款/和/减免税/费/等/方式/支持/建设/的/低价位/商品房/将/满足/中低收入/无房者/的/住房/需要/据/建设部/预计/今年/国有/商业银行/投放/在/此/方面/的/贷款/有望/达到/三百六十/亿元/长春市/位于/中国/东北/中部/其人/均居/住面积/比较/小/今年/这个/市/规划/首批/经济/适用房/总面积/为/一百八十/六万平方米/分布/在/六十三个/住宅小区/内/总/投资/十四点/五亿/元/据/这个/市/经济/适用房/开发/建设/办公室/主任/谭历/介绍/为了/保证/房屋/质量/和/较/低/的/价格/使/购房者/真正/感受/到/买房/的/实惠/这个/市/加强/了/对/经济/适用房/开发商/的/资格/审核/并/按照/国家/政策/严格控制/其/未来/售房/利润/不得/高于/总成本/的/百分之三/据/了解/长春市/的/经济/适用房/平均价/每平方米/一千五百元/比/同等/商业/住房/降低/三百元/左右/单套/住房/总面积/控制/在/八十/平方米/以内/但/内部/格局/设计/合理/体现/了/舒适/实用/的/特点/住房/大多/位于/成片/开发/的/住宅小区/内/供水/供暖/绿化/及/物业管理/状况/都/比较/理想/经济/适用房/受到/广大/无房户/的/青睐/在/长春市/不久前/举办/的/认购/大会/上/第一天/就/有/七百多/户/居民/签订/了/购房/协议/总面积/接近/六万/米/售房/总值/一亿元/开发商/们/的/热情/很/高/他们/相信/随着/福利/分房/制度/的/消失/住房/消费/贷款/的/大规模/出现/以及/居民收入/水平/的/提高/明年/将/会/出现/一个/经济/适用房/的/消费/高潮

编写逆向匹配函数

def getBresult(str):if len(str) == 1 or str in dic:return strelse:return getBresult(str[1:])def BMM(S1, maxlen):S2 = ""endindex = len(S1)while endindex>0:word = getBresult(S1[max(0, endindex-maxlen):endindex])S2 = word + "/" + S2endindex -= len(word)return S2.rstrip('/')

编写评估函数

def evaluate(result, ssummary):total_correct = sum(ssummary.values())total_cut = len(result.split('/'))result_correct = 0for word, nums in ssummary.items():result_correct += min(nums, result.count(word))C = result_correct/total_cutR = result_correct/total_correctF = 2*C*R/(C+R)return "C is {0:.4f}, R is {1:.4f}, F is {2:.4f}".format(C, R, F)

计算反向最大匹配结果

Bresult = '/'
Bresult = Bresult.join([BMM(s, 10) for s in SS if s != ''])
print(Bresult)

青岛/优化/资本/结构/促进/企业/规模/扩大/以/组/建在/国内外/具有/实力/影响/的/大/公司/大/集团/为/目标/进行/的/资本/结构/优化/正在/给/青岛/经济/带来/新/的/活力/近两年来/青岛/这个/中国/沿海/十四个/开放/城市/之一/的/城市/在/资金/及/政策/上/重点/支持/了/五十个/名牌产品/和/五十个/重点/企业/集中力量/发展/了/电子/机械/石化/橡胶/家电/和/饮料/六大/支柱产业/目前/青岛/的/资本/运营/形式/已/呈/兼并/联合/参股/控股/收购/等/多元化/态势/在/市场/的/引导/下/一批/实力/强劲/的/企业/迅速/组/建大/集团/到/去年底/海尔集团/的/销售收入/已/突破/六十/亿元/发展/为/拥有/九十九个/法人/企业/产品/规模/达到/三/千多个/品种/的/以/家电/为主/集/科工贸/和/三/产于/一体/的/在/国内外/知名度/很/高/的/大/集团/青/啤/公司/近年/也/开始/跨地区/经营/和/异地/投资/一九九四年/该/公司/收购/了/扬州/啤酒厂/啤酒/产量/扩大/六点/五/万吨/一九九五年/又/以/八千/二百/五十万元/控股/西安/汉斯/啤酒厂/据/了解/青/啤/公司/到/一九九五/年底/国有资产/已达/九/亿元/本世纪末/这家/企业/的/目标/是/年产/青岛/啤酒/一百四/十万吨/资本/结构/的/优化/使/青岛/一批/企业/迅速/崛起/青/啤/公司/海尔集团/和/双星集团/的/产品/品牌/已/先后/被/认/定为/中国/驰名商标/据/青岛市/第三次/工业/普查/证实/青岛/啤酒/海尔/冰箱/和/双星/运动鞋/的/出口量/已/分别/占/中国/同类/商品/出口量/的/百分之九十/百分之三十/和/百分之十四/中国/金融/对外开放/稳步/前行/随着/中国/金融/开/放向/广度/和/深度/发展/中国/外资/金融机构/的/数量/和/种类/不断/增加/目前/获准/在/上海浦东/经营/人民币/业务/的/外资银行/已达/九家/外资/金融机构/已/成为/中国/金融业/的/一支/重要/力量/据统计/截至/今年/三月底/中国/营业性/外资/金融机构/达/一百五/十八家/其中/分行/一百三/十二家/合/资银行/七家/独/资银行/五家/外/合/资/财务/公司/五家/保险公司/八家/中外合资/投资银行/一家/各类/金融机构/的/代表处/五/百二/十八家/中国/已有/二十四个/城市/被/批准/允许/设立/营业性/外资/金融机构/外资/金融机构/业务量/也/增长/迅速/到/去年底/其/总资产/为/三/百亿美元/比/上年/增长/百分之五十六/点三/去/年年底/中国人民银行/颁布/了/上海浦东/外资/金融机构/经营/人民币/业务/试点/暂行/管理/办法/目前/人行/上海市分行/等/有关/部门/正在/加紧/制定/实施细则/和/税收/等/综合/配套/政策/中国人民/银行行长/戴相龙/日前/曾/公开/表示/中国/将/继续/扩大/金融业/对外开放/据悉/今年/中国人民银/行将/在/积极/做好/外资银行/在/上海浦东/经营/人民币/业务/试点工作/的/基础/上/及时/总结/和/积累/经验/为/今后/扩大/试点/范围/做/准备/并/将/逐步/扩大/国外/保险机构/和/投资银行/在/华/数量/同时/积极/推动/中外合资/基金/管理/公司/管理/暂行办法/的/颁布/人民银行/还/将/合理/确定/外资/金融机构/数量/和/地区/分布/加强/与/外国/银行/监管/当局/和/国际/金融监管/组织/的/合作/今后/外资/金融机构/进入/中国/金融市场/的/深度/和/广度/必将/得到/扩展/专家/呼吁/可可西里/亟待/加大/保护/世界/最/干净/的/地方/正在/遭受/着/人类/的/破坏/在/周三/举行/的/中国野生动物保护协会/成立/十/五周年/座谈/会上/许多/专家/不约而/同地/提到/了/可可西里/在/那里/特有/的/植被/正在/被/人类/践踏/珍稀动物/被/人类/捕杀/中国科学院动物研究所/研究员/中国/青藏高原/研究会/常务理事/冯祚建/接受/记者/专访/时说/可可西里/位于/青藏高原/腹地/北界/昆仑山/南临/唐古拉山/海拔/五千米/面积/八/点三/万平方公里/属于/高寒/地区/可可西里/特有/的/植物/物种/有/八十多种/特有/鸟类/七种/兽类/十一种/藏羚羊/野牦牛/藏野驴/雪豹/宗熊/盘羊/等/都/是/珍稀动物/若/从/遗传/资源/的/角度/来看/野牦牛/是/家牦牛/的/祖先/现在/家牦牛/已经/开始/退化/野牦牛/可作/改良/家畜/品种/的/资源/还有/可可西里/高寒/植被/组成/的/生态系统/比较/特殊/其中/高寒/草原/高寒/草垫/高寒/荒漠/草原/等/在世界上/都/具有/典型/意义/冯/教授/说/可可西里/是/不可多得/的/自然/宝藏/可/目前/正/被/人类/蚕食/从/一九八四年/至今/在/青海/太/阳湖/地区/许多/挖/金/的/农民/把/拖拉机/卡/车开进/了/无人区/一/两万人/的/生活/垃圾/污染/了/环境/珍稀/野生动物/成/了/猎食/对象/植被/被/大车/压/成/了/路面/淘金/所/挖/的/十几米/的/洞/到处/都/是/现在/那里/已经/很/难/看见/大/的/野生动物/了/常见/的/倒/是/它们/的/尸骨/近几年来/由于/国际/市/场上/藏/羚羊绒/织/的/披肩/围巾/价值/不菲/许多/偷猎者/闯入/可可西里/大规模/猎杀/藏羚羊/据估计/十/年来/大约/有/两/万只/藏羚羊/被/杀/而/一九九五/到/一九九七年/查出/的/猎杀/藏羚羊/就/有/三/千只/专家/们/感到/忧虑/长期/这样/下去/将/给/珍稀/野生动物/带来/灭顶之灾/甘肃省/国民经济/今年/继续/保持/较快/增长/今年以来/中国/西部/经济/久/发达/省份/甘肃/在/加大/投资/力度/大力发展/非公有制/经济/大力/推动/企业/改组/改造/等/一系列/政策/的/推动/下/全省/国民经济/继续/保持/了/较快/增长/据/初步/测算/今年/这个/省/国内/生产总值/将/达到/八百/七十/亿元/今年/甘肃省/全年/粮食产量/创/历史/最好/水平/达到/八百/七/十万吨/棉花/油料/药材/蔬菜/等/主要/经济作物/产量/均/有/较/大幅度/增长/畜牧业/也/保持/了/持续/稳定/发展/的/势头/全省/猪/牛羊肉/总产量/达/五十/二点三/万吨/比/去年/增长/百分之六点/零/九/乡镇企业/继续/成为/推动/甘肃省/农村/经济/发展/的/主要/力量/之一/预计/全年/全省/乡镇企业/增加值/将/达到/一百六十/五点/一亿元/今年/甘肃省/工业生产/在/困境/中/保持稳定/运行/预计/全省/工业/将/完成/增加值/三/百一/十一点/八/亿元/比/上年/增长/百分之七点/五/股份制/企业/外商/及/港澳台/投资/企业/保持/了/较/高/增速/今年/是/甘肃省/固定资产/投资/力度/最大/的/一年/达到/三百三/十一亿元/较/上年/增长/百分之二十/五点四/基本建设/成为/带动/投资/总量/增长/的/主要/力量/这个/省/通过/向/基础产业/基础设施/倾斜/使/投资/结构调整/取得/了/显著/成效/这个/省/的/对外贸易/今年/继续/保持/了/顺差/局面/预计/全年/实现/外贸/进出口/总额/五点/五/亿元/吉林长春/开发/经济/适用房/吉林省/长春市/今年/规划/的/首批/经济/适用房/工程/目前/已/全面/开工/并且/有望/在/今年年底/首期/竣工/六十五/万平方米/开发/经济/适用房/是/中国政府/为/扩大/国内/需求/而/采取/的/一项/比较/重要/的/措施/这种/按照/经济/适用/微利/的/标准/以/专项/贷款/和/减免/税费/等/方式/支持/建设/的/低价位/商品房/将/满足/中低收入/无房者/的/住房/需要/据/建设部/预计/今年/国有/商业银行/投/放在/此/方面/的/贷款/有望/达到/三百六十/亿元/长春市/位于/中国/东北/中部/其/人均/居住面积/比较/小/今年/这个/市/规划/首批/经济/适用房/总面/积为/一百八十/六万平方米/分布/在/六十三个/住宅小/区内/总/投资/十四点/五/亿元/据/这个/市/经济/适用房/开发/建设/办公/室主任/谭历/介绍/为了/保证/房屋/质量/和/较/低/的/价格/使/购房者/真正/感/受到/买房/的/实惠/这个/市/加强/了/对/经济/适用房/开发商/的/资格/审核/并/按照/国家/政策/严格控制/其/未来/售房/利润/不得/高于/总成本/的/百分之三/据/了解/长春市/的/经济/适用房/平均价/每平方米/一千五百元/比/同等/商业/住房/降低/三百元/左右/单套/住房/总面积/控制/在/八/十平方米/以内/但/内部/格局/设计/合理/体现/了/舒适/实用/的/特点/住房/大多/位于/成片/开发/的/住宅小/区内/供水/供暖/绿化/及/物业/管理状况/都/比/较理想/经济/适用房/受到/广大/无房户/的/青睐/在/长春市/不久前/举办/的/认购/大/会上/第一天/就/有/七百/多户/居民/签订/了/购房/协议/总面积/接近/六/万米/售房/总值/一亿元/开发商/们/的/热情/很/高/他们/相信/随着/福利/分房/制度/的/消失/住房/消费/贷款/的/大规模/出现/以及/居民/收入水平/的/提高/明年/将/会/出现/一个/经济/适用房/的/消费/高潮

计算双向最大匹配结果

当分词效果不一致时，不仅会选择分词数较少的那一种情况，还会优先考虑分词数一样但是单字较少的情况。

pattern = re.compile(r'(?<=/).{1}(?=/)')   # 查找单个字，前面是/，后面是/
BBresult = '/'
BBresult = BBresult.join([FMM(s, 10) if BMM(s,10).count('/') > FMM(s, 10).count('/') or (BMM(s,10).count('/') == FMM(s, 10).count('/') and len(pattern.findall(BMM(s, 10))) > len(pattern.findall(FMM(s, 10)))) else BMM(s, 10) for s in SS if s != ''])
print(BBresult)

青岛/优化/资本/结构/促进/企业/规模/扩大/以/组建/在/国内外/具有/实力/影响/的/大公/司/大/集团/为/目标/进行/的/资本/结构/优化/正在/给/青岛/经济/带来/新/的/活力/近两年来/青岛/这个/中国/沿海/十四个/开放/城市/之一/的/城市/在/资金/及/政策/上/重点/支持/了/五十个/名牌产品/和/五十个/重点/企业/集中力量/发展/了/电子/机械/石化/橡胶/家电/和/饮料/六大/支柱产业/目前/青岛/的/资本/运营/形式/已/呈/兼并/联合/参股/控股/收购/等/多元化/态势/在/市场/的/引导/下/一批/实力/强劲/的/企业/迅速/组建/大集/团/到/去年底/海尔集团/的/销售收入/已/突破/六十/亿元/发展/为/拥有/九十九个/法人/企业/产品/规模/达到/三/千多个/品种/的/以/家电/为主/集/科工贸/和/三产/于/一体/的/在/国内外/知名度/很/高/的/大集/团/青/啤/公司/近年/也/开始/跨地区/经营/和/异地/投资/一九九四年/该/公司/收购/了/扬州/啤酒厂/啤酒/产量/扩大/六点/五万/吨/一九九五年/又/以/八千/二百/五十万元/控股/西安/汉斯/啤酒厂/据/了解/青/啤/公司/到/一九九五/年底/国有资产/已达/九/亿元/本世纪末/这家/企业/的/目标/是/年产/青岛/啤酒/一百四/十万吨/资本/结构/的/优化/使/青岛/一批/企业/迅速/崛起/青/啤/公司/海尔集团/和/双星集团/的/产品/品牌/已/先后/被/认/定为/中国/驰名商标/据/青岛市/第三次/工业/普查/证实/青岛/啤酒/海尔/冰箱/和/双星/运动鞋/的/出口量/已/分别/占/中国/同类/商品/出口量/的/百分之九十/百分之三十/和/百分之十四/中国/金融/对外开放/稳步/前行/随着/中国/金融/开/放向/广度/和/深度/发展/中国/外资/金融机构/的/数量/和/种类/不断/增加/目前/获准/在/上海浦东/经营/人民币/业务/的/外资银行/已达/九家/外资/金融机构/已/成为/中国/金融业/的/一支/重要/力量/据统计/截至/今年/三月底/中国/营业性/外资/金融机构/达/一百五/十八家/其中/分行/一百三/十二家/合/资银行/七家/独/资银行/五家/外/合/资/财务/公司/五家/保险公司/八家/中外合资/投资银行/一家/各类/金融机构/的/代表处/五百/二十八/家/中国/已有/二十四个/城市/被/批准/允许/设立/营业性/外资/金融机构/外资/金融机构/业务量/也/增长/迅速/到/去年底/其/总资产/为/三百/亿美元/比/上年/增长/百分之五十六/点三/去/年年底/中国人民银行/颁布/了/上海浦东/外资/金融机构/经营/人民币/业务/试点/暂行/管理/办法/目前/人行/上海市分行/等/有关/部门/正在/加紧/制定/实施细则/和/税收/等/综合/配套/政策/中国人民/银行行长/戴相龙/日前/曾/公开/表示/中国/将/继续/扩大/金融业/对外开放/据悉/今年/中国人民银/行将/在/积极/做好/外资银行/在/上海浦东/经营/人民币/业务/试点工作/的/基础/上/及时/总结/和/积累/经验/为/今后/扩大/试点/范围/做/准备/并/将/逐步/扩大/国外/保险机构/和/投资银行/在/华/数量/同时/积极/推动/中外合资/基金/管理/公司/管理/暂行办法/的/颁布/人民银行/还/将/合理/确定/外资/金融机构/数量/和/地区/分布/加强/与/外国/银行/监管/当局/和/国际/金融监管/组织/的/合作/今后/外资/金融机构/进入/中国/金融市场/的/深度/和/广度/必将/得到/扩展/专家/呼吁/可可西里/亟待/加大/保护/世界/最/干净/的/地方/正在/遭受/着/人类/的/破坏/在/周三/举行/的/中国野生动物保护协会/成立/十五/周年/座谈会/上/许多/专家/不约而/同地/提到/了/可可西里/在/那里/特有/的/植被/正在/被/人类/践踏/珍稀动物/被/人类/捕杀/中国科学院动物研究所/研究员/中国/青藏高原/研究会/常务理事/冯祚建/接受/记者/专访/时说/可可西里/位于/青藏高原/腹地/北界/昆仑山/南临/唐古拉山/海拔/五千米/面积/八点/三万/平方公里/属于/高寒/地区/可可西里/特有/的/植物/物种/有/八十多种/特有/鸟类/七种/兽类/十一种/藏羚羊/野牦牛/藏野驴/雪豹/宗熊/盘羊/等/都/是/珍稀动物/若/从/遗传/资源/的/角度/来看/野牦牛/是/家牦牛/的/祖先/现在/家牦牛/已经/开始/退化/野牦牛/可作/改良/家畜/品种/的/资源/还有/可可西里/高寒/植被/组成/的/生态系统/比较/特殊/其中/高寒/草原/高寒/草垫/高寒/荒漠/草原/等/在世界上/都/具有/典型/意义/冯/教授/说/可可西里/是/不可多得/的/自然/宝藏/可/目前/正/被/人类/蚕食/从/一九八四年/至今/在/青海/太/阳湖/地区/许多/挖/金/的/农民/把/拖拉机/卡/车开进/了/无人区/一/两万人/的/生活/垃圾/污染/了/环境/珍稀/野生动物/成/了/猎食/对象/植被/被/大车/压/成/了/路面/淘金/所/挖/的/十几米/的/洞/到处/都/是/现在/那里/已经/很/难/看见/大/的/野生动物/了/常见/的/倒/是/它们/的/尸骨/近几年来/由于/国际/市/场上/藏/羚羊绒/织/的/披肩/围巾/价值/不菲/许多/偷猎者/闯入/可可西里/大规模/猎杀/藏羚羊/据估计/十/年来/大约/有/两/万只/藏羚羊/被/杀/而/一九九五/到/一九九七年/查出/的/猎杀/藏羚羊/就/有/三千/只/专家/们/感到/忧虑/长期/这样/下去/将/给/珍稀/野生动物/带来/灭顶之灾/甘肃省/国民经济/今年/继续/保持/较快/增长/今年以来/中国/西部/经济/久/发达/省份/甘肃/在/加大/投资/力度/大力发展/非公有制/经济/大力/推动/企业/改组/改造/等/一系列/政策/的/推动/下/全省/国民经济/继续/保持/了/较快/增长/据/初步/测算/今年/这个/省/国内/生产总值/将/达到/八百/七十/亿元/今年/甘肃省/全年/粮食产量/创/历史/最好/水平/达到/八百/七十万/吨/棉花/油料/药材/蔬菜/等/主要/经济作物/产量/均/有/较大/幅度/增长/畜牧业/也/保持/了/持续/稳定/发展/的/势头/全省/猪/牛羊肉/总产量/达/五十/二点三/万吨/比/去年/增长/百分之六点/零/九/乡镇企业/继续/成为/推动/甘肃省/农村/经济/发展/的/主要/力量/之一/预计/全年/全省/乡镇企业/增加值/将/达到/一百六十/五点/一亿元/今年/甘肃省/工业生产/在/困境/中保/持稳定/运行/预计/全省/工业/将/完成/增加值/三百/一十/一点/八亿/元/比/上年/增长/百分之七点/五/股份制/企业/外商/及/港澳台/投资/企业/保持/了/较/高/增速/今年/是/甘肃省/固定资产/投资/力度/最大/的/一年/达到/三百三/十一亿元/较/上年/增长/百分之二十/五点四/基本建设/成为/带动/投资/总量/增长/的/主要/力量/这个/省/通过/向/基础产业/基础设施/倾斜/使/投资/结构调整/取得/了/显著/成效/这个/省/的/对外贸易/今年/继续/保持/了/顺差/局面/预计/全年/实现/外贸/进出口/总额/五点/五亿/元/吉林长春/开发/经济/适用房/吉林省/长春市/今年/规划/的/首批/经济/适用房/工程/目前/已/全面/开工/并且/有望/在/今年年底/首期/竣工/六十五/万平方米/开发/经济/适用房/是/中国政府/为/扩大/国内/需求/而/采取/的/一项/比较/重要/的/措施/这种/按照/经济/适用/微利/的/标准/以/专项/贷款/和/减免/税费/等/方式/支持/建设/的/低价位/商品房/将/满足/中低收入/无房者/的/住房/需要/据/建设部/预计/今年/国有/商业银行/投/放在/此/方面/的/贷款/有望/达到/三百六十/亿元/长春市/位于/中国/东北/中部/其/人均/居住面积/比较/小/今年/这个/市/规划/首批/经济/适用房/总面/积为/一百八十/六万平方米/分布/在/六十三个/住宅小/区内/总/投资/十四点/五亿/元/据/这个/市/经济/适用房/开发/建设/办公/室主任/谭历/介绍/为了/保证/房屋/质量/和/较/低/的/价格/使/购房者/真正/感/受到/买房/的/实惠/这个/市/加强/了/对/经济/适用房/开发商/的/资格/审核/并/按照/国家/政策/严格控制/其/未来/售房/利润/不得/高于/总成本/的/百分之三/据/了解/长春市/的/经济/适用房/平均价/每平方米/一千五百元/比/同等/商业/住房/降低/三百元/左右/单套/住房/总面积/控制/在/八十/平方米/以内/但/内部/格局/设计/合理/体现/了/舒适/实用/的/特点/住房/大多/位于/成片/开发/的/住宅小/区内/供水/供暖/绿化/及/物业管理/状况/都/比较/理想/经济/适用房/受到/广大/无房户/的/青睐/在/长春市/不久前/举办/的/认购/大会/上/第一天/就/有/七百/多户/居民/签订/了/购房/协议/总面积/接近/六万/米/售房/总值/一亿元/开发商/们/的/热情/很/高/他们/相信/随着/福利/分房/制度/的/消失/住房/消费/贷款/的/大规模/出现/以及/居民/收入水平/的/提高/明年/将/会/出现/一个/经济/适用房/的/消费/高潮

显示标准匹配结果

# 标准匹配结果
sresult = re.sub(r'\s', '/', standard)
print(sresult)
# 对标准结果的词频进行统计
ssummary = Counter(sresult.split('/'))

青岛/优化/资本/结构/促进/企业/规模/扩大/以/组建/在/国内外/具有/实力/影响/的/大公司/大集团/为/目标/进行/的/资本结构/优化/正在/给/青岛/经济/带来/新/的/活力/近/两年/来/青岛/这个/中国/沿海/十四/个/开放/城市/之一/的/城市/在/资金/及/政策/上/重点/支持/了/五十个/名牌/产品/和/五十个/重点/企业/集中/力量/发展/了/电子/机械/石化/橡胶/家电/和/饮料/六大/支柱产业/目前/青岛/的/资本/运营/形式/已/呈/兼并/联合/参股/控股/收购/等/多元化/态势/在/市场/的/引导/下/一批/实力/强劲/的/企业/迅速/组建/大集团/到/去年底/海尔集团/的/销售收入/已/突破/六十/亿元/发展/为/拥有/九十九个/法人/企业/产品/规模/达到/三千/多个/品种/的/以/家电/为主/集/科工贸/和/三产/于一体/的/在/国内外/知名度/很/高/的/大集团/青啤公司/近年/也/开始/跨地区/经营/和/异地/投资/一九九四年/该/公司/收购/了/扬州啤酒厂/啤酒/产量/扩大/六点五/万吨/一九九五年/又/以/八千二百五十/万元/控股/西安/汉斯/啤酒厂/据/了解/青啤公司/到/一九九五/年底/国有/资产/已/达/九/亿元/本世纪末/这家/企业/的/目标/是/年产/青岛啤酒/一百四十/万吨/资本/结构/的/优化/使/青岛/一批/企业/迅速/崛起/青啤公司/海尔集团/和/双星集团/的/产品/品牌/已/先后/被/认定为/中国/驰名/商标/据/青岛市/第三次/工业普查/证实/青岛啤酒/海尔冰箱/和/双星运动鞋/的/出口量/已/分别/占/中国/同类/商品/出口量/的/百分之九十/百分之三十/和/百分之十四/中国/金融/对外开放/稳步/前行/随着/中国/金融/开放/向/广度/和/深度/发展/中国/外资/金融机构/的/数量/和/种类/不断/增加/目前/获准/在/上海/浦东/经营/人民币/业务/的/外资银行/已达/九家/外资/金融机构/已/成为/中国/金融业/的/一支/重要/力量/据/统计/截至/今年/三月底/中国/营业性/外资/金融机构/达/一百五十八/家/其中/分行/一百三十二/家/合资银行/七/家/独资银行/五家/外/合资/财务公司/五/家/保险公司/八/家/中外/合资/投资银行/一/家/各类/金融机构/的/代表处/五百二十八/家/中国/已/有/二十四个/城市/被/批准/允许/设立/营业性/外资/金融机构/外资/金融机构/业务量/也/增长迅速/到/去年底/其/总资产/为/三百亿/美元/比/上年/增长/百分之/五十六点三/去年/年底/中国/人民/银行/颁布/了/上海/浦东/外资/金融机构/经营/人民币/业务/试点/暂行/管理/办法/目前/人行/上海市/分行/等/有关部门/正在/加紧/制定/实施/细则/和/税收/等/综合/配套/政策/中国/人民/银行/行长/戴相龙/日前/曾/公开/表示/中国/将/继续/扩大/金融业/对外开放/据悉/今年/中国人民银行/将在/积极/做好/外资银行/在/上海/浦东/经营/人民币/业务/试点/工作/的/基础/上/及时/总结/和/积累经验/为/今后/扩大/试点/范围/做/准备/并/将/逐步/扩大/国外/保险机构/和/投资银行/在华/数量/同时/积极/推动/中外/合资/基金/管理/公司/管理/暂行/办法/的/颁布/人民/银行/还/将/合理/确定/外资/金融机构/数量/和/地区/分布/加强/与/外国/银行/监管/当局/和/国际/金融/监管/组织/的/合作/今后/外资/金融机构/进入/中国/金融/市场/的/深度/和/广度/必将/得到/扩展/专家/呼吁/可可西里/亟待/加大/保护/世界/最/干净/的/地方/正在/遭受/着/人类/的/破坏/在/周三/举行/的/中国野生动物保护协会/成立/十五周年/座谈会/上/许多/专家/不约而同/地/提到/了/可可西里/在/那里/特有/的/植被/正在/被/人类/践踏/珍稀动物/被/人类/捕杀/中国科学院动物研究所/研究员/中国/青藏高原/研究会/常务理事/冯祚建/接受/记者/专访/时/说/可可西里/位于/青藏高原/腹地/北界/昆仑山/南临/唐/古拉山/海拔/五/千米/面积/八点三万/平方公里/属于/高寒地区/可可西里/特有/的/植物/物种/有/八十多种/特有/鸟类/七种/兽类十一种/藏羚羊/野牦牛/藏野驴/雪豹/宗熊/盘羊/等/都是/珍稀动物/若/从/遗传资源/的/角度/来看/野牦牛/是/家牦牛/的/祖先/现在/家牦牛/已经/开始/退化/野牦牛/可作/改良/家畜/品种/的/资源/还有/可可西里/高寒/植被/组成/的/生态系统/比较/特殊/其中/高寒草原/高寒草垫/高寒荒漠草原/等/在/世界上/都/具有/典型/意义/冯教授/说/可可西里/是/不可多得/的/自然/宝藏/可/目前/正被/人类/蚕食/从/一九八四年/至今/在/青海/太阳湖/地区/许多/挖金/的/农民/把/拖拉机/卡车/开进/了/无人区/一两万人/的/生活垃圾/污染/了/环境/珍稀/野生动物/成/了/猎食/对象/植被/被/大车/压成/了/路面/淘金所/挖/的/十几米/的/洞/到处/都是/现在/那里/已经/很/难/看见/大/的/野生动物/了/常见/的/倒是/它们/的/尸骨/近几年来/由于/国际市场/上/藏羚羊/绒织/的/披肩/围巾/价值不菲/许多/偷猎者/闯入/可可西里/大规模/猎杀/藏羚羊/据/估计/十年来/大约/有/两万只/藏羚羊/被/杀/而/一九九五/到/一九九七年/查出/的/猎杀/藏羚羊/就/有/三千只/专家们/感到/忧虑/长期/这样/下去/将/给/珍稀/野生动物/带来/灭顶之灾/甘肃省/国民/经济/今年/继续/保持/较快/增长/今年/以来/中国/西部/经济/久/发达/省份/甘肃/在/加大/投资/力度/大力/发展/非公有制经济/大力/推动/企业/改组/改造/等/一系列/政策/的/推动/下/全省/国民/经济/继续/保持/了/较快/增长/据/初步/测算/今年/这个/省/国内/生产/总值/将/达到/八百七十/亿元/今年/甘肃省/全年/粮食/产量/创/历史/最好/水平/达到/八百七十/万吨/棉花/油料/药材/蔬菜/等/主要/经济/作物/产量/均有/较大/幅度/增长/畜牧业/也/保持/了/持续/稳定/发展/的/势头/全省/猪牛羊肉/总产量/达/五十二点三/万吨/比/去年/增长/百分之/六点零九/乡镇/企业/继续/成为/推动/甘肃省/农村/经济/发展/的/主要/力量/之一/预计/全年/全省/乡镇/企业/增加值/将/达到/一百六十五点一/亿元/今年/甘肃省/工业/生产/在/困境中/保持/稳定/运行/预计/全省/工业/将/完成/增加值/三百一十一点八/亿元/比/上年/增长/百分之/七点五/股份制/企业/外商/及/港澳台/投资/企业/保持/了/较/高/增速/今年/是/甘肃省/固定/资产/投资/力度/最大/的/一年/达到/三百三十一/亿元/较/上年/增长/百分之/二十五点四/基本/建设/成为/带动/投资/总量/增长/的/主要/力量/这个/省/通过/向/基础/产业/基础/设施/倾斜/使/投资/结构/调整/取得/了/显著/成效/这个/省/的/对外/贸易/今年/继续/保持/了/顺差/局面/预计/全年/实现/外贸/进出口/总额/五点五/亿元/吉林/长春/开发/经济/适用房/吉林省/长春市/今年/规划/的/首批/经济/适用房/工程/目前/已/全面/开工/并且/有望/在/今年/年底/首期/竣工/六十五万/平方米/开发/经济/适用房/是/中国/政府/为/扩大/国内/需求/而/采取/的/一项/比较/重要/的/措施/这种/按照/经济/适用/微利/的/标准/以/专项/贷款/和/减免/税费/等/方式/支持/建设/的/低价位/商品房/将/满足/中低/收入/无房者/的/住房/需要/据/建设部/预计/今年/国有/商业银行/投放/在/此/方面/的/贷款/有望/达到/三百六十/亿元/长春市/位于/中国/东北/中部/其/人均/居住/面积/比较/小/今年/这个/市/规划/首批/经济/适用房/总面积/为/一百八十六万/平方米/分布/在/六十三个/住宅/小区/内/总投资/十四点五/亿元/据/这个/市/经济/适用房/开发/建设/办公室/主任/谭历/介绍/为了/保证/房屋/质量/和/较低/的/价格/使/购房者/真正/感受/到/买房/的/实惠/这个/市/加强/了/对/经济/适用房/开发商/的/资格/审核/并/按照/国家/政策/严格/控制/其/未来/售房/利润/不得/高于/总成本/的/百分之/三/据/了解/长春市/的/经济/适用房/平均价/每/平方米/一千五百元/比/同等/商业/住房/降低/三百元/左右/单套/住房/总面积/控制/在/八十/平方米/以内/但/内部/格局/设计/合理/体现/了/舒适/实用/的/特点/住房/大多/位于/成片/开发/的/住宅/小区/内/供水/供暖/绿化/及/物业/管理/状况/都/比较/理想/经济/适用房/受到/广大/无房户/的/青睐/在/长春市/不久前/举办/的/认购/大会/上/第一天/就/有/七百多/户/居民/签订了/购房/协议/总面积/接近/六万米/售房/总值/一亿元/开发商/们/的/热情/很/高/他们/相信/随着/福利/分房/制度/的/消失/住房/消费/贷款/的/大规模/出现/以及/居民/收入/水平/的/提高/明年/将/会/出现/一个/经济/适用房/的/消费/高潮

对三种结果进行评估

print("对前向最大匹配的结果进行评估: ", evaluate(Fresult, ssummary))
print("对后向最大匹配的结果进行评估: ", evaluate(Bresult, ssummary))
print("对双向最大匹配的结果进行评估: ", evaluate(BBresult, ssummary))

对前向最大匹配的结果进行评估:  C is 0.9189, R is 0.9276, F is 0.9232
对后向最大匹配的结果进行评估:  C is 0.9142, R is 0.9228, F is 0.9185
对双向最大匹配的结果进行评估:  C is 0.9165, R is 0.9252, F is 0.9208

使用正向/逆向/双向三种算法进行分词操作相关推荐

爱因斯坦谜题解答(三种算法比较)
爱因斯坦谜题: 在一条街上有颜色互不相同的五栋房子,不同国籍的人分别住在这五栋房子力,每人抽不同品牌的香烟,喝不同的饮料,养不同的宠物.已知如下情况: 1. 英国人住红色房子里. 2. 瑞 ...
EL之DTRFGBT：基于三种算法(DT、RF、GBT)对泰坦尼克号乘客数据集进行二分类(是否获救)预测并对比各自性能
EL之DT&RF&GBT:基于三种算法(DT.RF.GBT)对泰坦尼克号乘客数据集进行二分类(是否获救)预测并对比各自性能目录输出结果设计思路核心代码输出结果设计思路核 ...
java 求最大公因数_求最大公约数的三种算法（java实现）
三种算法: //欧几里得算法(辗转相除): public static int gcd(int m,int n) { if(m int k=m; m=n; n=k; } //if(m%n!=0) { ...
SQL Server 索引基础知识(10)----Join 时的三种算法简介
我们书写查询语句的时候,Join 参数之前可以是下面三个 { LOOP | MERGE | HASH } JOIN . 如果不使用,则系统自己分析那种方式快,使用那种方式. 这其实是SQL Serv ...
c语言求最小公倍数和最大公约数三种算法
C语言求最小公倍数和最大公约数三种算法(经典) 求最小公倍数算法: 最小公倍数=两整数的乘积÷最大公约数求最大公约数算法: (1)辗转相除法有两整数a和b: ① a%b得余数c ② 若c=0,则b ...
三种算法求两个正整数的最大公约数和最小公倍数；求三个数的最大公约数和最小公倍数
第二次作业题目:求两个正整数的最大公约数和最小公倍数. 基本要求:1.程序风格良好(使用自定义注释模板),两种以上算法解决最大公约数问题,提供友好的输入输出. 提高要求:1.三种以上算法解决两个正整 ...
C语言求最小公倍数和最大公约数三种算法(经典)
C语言求最小公倍数和最大公约数三种算法(经典) 最小公倍数:数论中的一种概念,两个整数公有的倍数成为他们的公倍数,其中一个最小的公倍数是他们的最小公倍数,同样地,若干个整数公有的倍数中最小的正整数称为 ...
【老生谈算法】matlab实现EKF UKF PF三种算法对比源码——EKF UKF PF算法
EKF UKF PF三种算法对比 matlab程序 1.文档下载: 本算法已经整理成文档如下,有需要的朋友可以点击进行下载序号文档(点击下载) 本项目文档 [老生谈算法]EKF-UKF-PF三种算 ...
冒泡排序,插入排序,选择排序三种算法的优劣
https://www.jianshu.com/p/9f724c880124 最近听了王争老师的数据结构与算法之美,大有获益,特写此博客与大家分享. 排序算法太多了,但大体可以归结于三类,冒泡排序,插 ...

使用正向/逆向/双向三种算法进行分词操作

使用正向/逆向/双向三种算法进行分词操作相关推荐

最新文章

热门文章