python借助OpenCC实现中文繁体转简体

中文繁体转简体需要用到工具OpenCC
该工具可以支持多种中文之间的转换

安装方式见：https://github.com/yichen0831/opencc-python

from opencc import OpenCC
from gensim.corpora.wikicorpus import filter_wiki
import re
cc = OpenCC('t2s')def wiki_replace(d):"""将繁体转成简体:param d: 文本:return:"""s=ds = re.sub(':*{\|[\s\S]*?\|}', '', s)s = re.sub('<gallery>[\s\S]*?</gallery>', '', s)s = re.sub('(.){{([^{}\n]*?\|[^{}\n]*?)}}', '\\1[[\\2]]', s)s = filter_wiki(s)s = re.sub('\* *\n|\'{2,}', '', s)s = re.sub('\n+', '\n', s)s = re.sub('\n[:;]|\n +', '\n', s)s = re.sub('\n==', '\n\n==', s)s = u'【' + d + u'】\n' + sreturn cc.convert(s).strip()

如无意外，会得到：

可以看见，繁体已经全部转成简体了。

python借助OpenCC实现中文繁体转简体相关推荐

【自然语言处理】opencc：中文繁体☞中文简体的转换
在看蚂蚁金服人工智能团队写的一篇关于中文的NLP的论文时,才知道有opencc这么个库,可以将中文繁体转为中文简体,大大简化了处理过程. 如果用的pycharm直接点开解释器,搜opencc,然后in ...
python3怎么切换汉版_python3 中文繁体转换简体，简体转换为繁体，汉字转换拼音...
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和Te ...
geartrax2020中文繁体转简体
1. 正常安装 2. 打开安装位置,找到geartrax2020→documents→languages→languagechi.gtxlng,右键记事本打开 3. 新建word文档,将记事本内所有内 ...
中文繁体和简体相互转换tranditional.txt文件
啊阿埃挨哎唉哀皚癌藹矮艾礙愛隘鞍氨安俺按暗岸胺案骯昂盎凹敖熬翱襖傲奧懊澳芭捌扒叭吧笆八疤巴拔跋靶把耙壩霸罷爸白柏百擺佰敗拜稗斑班搬扳般頒板版扮拌伴瓣半辦絆邦幫梆榜膀綁棒磅蚌鎊傍謗苞胞包褒剝薄雹保堡飽寶 ...
中文繁体和简体相互转换simplified.txt文件
啊阿埃挨哎唉哀皑癌蔼矮艾碍爱隘鞍氨安俺按暗岸胺案肮昂盎凹敖熬翱袄傲奥懊澳芭捌扒叭吧笆八疤巴拔跋靶把耙坝霸罢爸白柏百摆佰败拜稗斑班搬扳般颁板版扮拌伴瓣半办绊邦帮梆榜膀绑棒磅蚌镑傍谤苞胞包褒剥薄雹保堡饱宝 ...
java utf8 简繁转换类库_在Java中进行中文繁体简体转换，基于OpenCC（Open Chinese Convert）方案...
一.OpenCC介绍 OpenCC (Open Chinese Convert,开放中文转换) 是一个用于中文简繁转换的开源项目,支持词汇级别的转换.异体字转换和地区习惯用词转换(中国大陆.台湾.香港 ...
用opencc实现Wiki中文语料从繁体转换为简体
1,我遇见问题的描述我想通过opencc来实现Wiki中文语料从繁体转换为简体 2,解决方法 2.1 软件以及数据准备我到https://bintray.com/package/files/byv ...
python中文文本分词_SnowNLP：?中文分词?词性标准?提取文本摘要,?提取文本关键词,?转换成拼音?繁体转简体的处理中文文本的Python3 类库...
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和Te ...
python实现中文繁体和中文简体之间的相互转换的代码
在学习过程中,把开发过程中重要的一些内容备份一下,下面内容是关于python实现中文繁体和中文简体之间的相互转换的内容,应该是对码农们有所好处. # 转换繁体到简体 line = Converter( ...
中文维基百科的语料库下载和繁体转换为简体的操作
中文维基百科的语料库下载和繁体转换为简体的操作维基百科数据下载源https://dumps.wikimedia.org/backup-index.html] # from gensim.corpor ...

python借助OpenCC实现中文繁体转简体

python借助OpenCC实现中文繁体转简体相关推荐

最新文章

热门文章