比较笨的中文预处理 python

def clean_str(string):#半角英文特殊字符string = re.sub(r"[A-Za-z&\*\.;\?!,:\-\'\^\`/\(\)]", "", string)#去除中文特殊字符string = re.sub(r"(~)", "", string)string = re.sub(r"(《)", "", string)string = re.sub(r"(》)", "", string)string = re.sub(r"(@)", "", string)string = re.sub(r"(￥)", "", string)string = re.sub(r"(%)", "", string)string = re.sub(r"(·)", "", string)string = re.sub(r"(～)", "", string)string = re.sub(r"(、)", "", string)string = re.sub(r"(：)", "", string)string = re.sub(r"(（)", "", string)string = re.sub(r"(）)", "", string)string = re.sub(r"(ヽ)", "", string)string = re.sub(r"(メ)", "", string)string = re.sub(r"(ノ )", "", string)string = re.sub(r"(#)", "", string)string = re.sub(r"(【)", "", string)string = re.sub(r"(】)", "", string)string = re.sub(r"(：)", "", string)string = re.sub(r"( )+", "", string)string = re.sub(r"(。)+", "。", string)string = re.sub(r"(？)+", "？", string)string = re.sub(r"(！)+", "！", string)string = re.sub(r"(；)+", "；", string)string = re.sub(r"(，)+", "，", string)#string = re.sub(r"( )+", "", string)#string = re.sub(r"\s{2,}", "", string)#中文空格是全角字符string = re.sub(r"[0-9]{1,}", "N", string)#所有的数字用N替换return string.strip()

比较笨的中文预处理 python相关推荐

cnocr训练_cnocr: 极简的中文OCR Python包
Update 2020.04.21: 发布 cnocr V1.1.0 更轻量的 cnocr-V1.1.0 :最小模型只有 6.8M.具体说明见: BreezeDeus:更轻量的 cnocr-V1.1. ...
python json.loads()中文问题-Python实现的json文件读取及中文乱码显示问题解决方法...
本文实例讲述了Python实现的json文件读取及中文乱码显示问题解决方法.分享给大家供大家参考,具体如下: city.json文件的内容如下: { "cities": [ { & ...
python json.loads()中文问题-python中文编码json中文输出问题
python2.x版本的字符编码有时让人很头疼,遇到问题,网上方法可以解决错误,但对原理还是一知半解,本文主要介绍 python 中字符串处理的原理,附带解决 json 文件输出时,显示中文而非 un ...
studioone精调效果包_cnocr: 极简的中文OCR Python包
Update 2020.04.21: 发布 cnocr V1.1.0 更轻量的 cnocr-V1.1.0 :最小模型只有 6.8M.具体说明见: BreezeDeus:更轻量的 cnocr-V1.1. ...
python中文视频教程-中谷教育python中文视频教程(python视频教程) 完整版
中谷教育python中文视频教程(python视频教程)是一款非常好用的python中文视频教程.你是不是在找简单实用的python中文视频教程?那就来绿色先锋下载中谷教育python中文视频教程(p ...
python中文读音-python中文谐音 Python 的中文谐音是什么？
Python 的中文谐音是什么?请尽量准确,.如:Windows:温豆斯 UNIX派森有时候,不得不假装很快乐,只是为了不让别人问你怎么了" python,英[ˈpaɪθən],美[ˈpaɪ ...
python怎么读取中文文件-Python中使用不同编码读写txt文件详解
复制代码代码如下: import os import codecs filenames=os.listdir(os.getcwd()) out=file("name.txt",& ...
python语言中文社区-python语言中文
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 为了得到一个可以正常返回的 url ,需要修改示例中的 secretid ...
python语言中文社区-python中用中文
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 花下猫语:在 python 中是否可以实现中文数字的四则运算呢? 答案是 ...

比较笨的中文预处理 python

比较笨的中文预处理 python相关推荐

最新文章

热门文章