Python正则去除中英文标点的操作手法
2024-06-02 15:23:00
我们在用Python制作一些SEO小工具的时候总是会和文章打交道，大家知道通过Python直接采集，或者通过火车头采集文章的时候，为了保全文章的主题内容可以完全的采集到，文章的内容里面都是有很多的标点符号和HTML的代码片段，那么这个时候就需要Python的正则模块（re）进行二次加工处理。
其实我们可以在搜索引擎上面搜索关键词：Python正则去除中英文标点。也是可以搜索到很多的相关解决问题的方法，不过有些解决的过于复杂，在这里Steven推荐这种方式去解决大部分的文章里面包含中英文标点，通过正则去除的方法。
1、首先导入 re 正则模块
Python
# coding:utf-8
import re
2、然后导入需要处理的文本，你可以通过本地通过open导入，在这里我直接复制到代码里面
Python
# coding:utf-8
import recontent = '<p> 新朝，是一个非常特殊的政权，它夹在西汉与东汉之间，默默无闻，在人们的印象中，似乎从来没有存在过。这种“视而不见”的错觉，大概出于两个原 因：一，新朝仅仅维持了14年，寿命太短；二，新朝皇帝王莽，臭名昭著，这位西汉外戚，也是中国历史上第一个“窃国大盗”，他篡位自代，为儒家正统所不 容。于是，天下群起而攻，历代文人都往他身上泼脏水。但是，这个窃国大盗，却是个十足的“大孝子”。为什么说，“大奸”王莽居然是“大孝”呢？且看他如何 对待自家那些长辈。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br /> 隋唐科举制度诞生以前，朝廷依靠什么手段选拔人才呢？一，看名门望族的出身；二，凭各地“举孝廉”。 元朝人郭居敬，曾辑录古代24位孝子故事，编成著名的《二十四孝》。其中，那些夸张、乖戾，甚至有些疯狂的做法，简直是病态，听着，叫人浑身起鸡皮疙瘩。 比如，老莱子“戏彩娱亲”、王祥“卧冰求鲤”、郭巨“埋儿奉母”等等。两汉时代，博得大孝之名，就像现在荣获了“全国五一劳动奖章”，完全可以靠这一点儿 名誉，登堂入室，步入官场。</p><p> 王莽出身于大家族，姑母王政君，嫁给了汉元帝刘奭，伯伯、叔叔，乃至同辈的叔伯兄弟，都“叨光”做了大官。唯独王莽这一枝倒霉，还没沾上姑母的 便宜，父亲便早早地死了。王莽年轻，不得不站出来，顶立门户。他既没钱做资本，也不会其它手艺，有个最大爱好，就是博览群书，钻研儒术。但是，这怎么能养 家糊口呢？实在没辙，全家老少只能咬紧牙关，一块儿过苦日子。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p> 班固在《汉书·王莽传》中记载：“（王莽）事母及寡嫂，养孤兄子，行甚敕备。又外交英俊，内事诸父，曲有礼意。”虽然父亲死了，王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚——双喜临门，自然要张灯结彩、大宴宾客。喜筵刚刚开始，就有人慌里慌张地跑来，在他耳边嘀咕道： “您母亲不舒服，现在，急等用药呢！”王莽立刻脸色大变，拽起仆人，往外就跑。一场婚庆宴会，大概要持续两个时辰，其间，王莽魂不守舍，出来进去了很多 次。</p> 王莽不但心疼老娘，对伯父、叔父等长辈，同样俯首帖耳，非常孝敬。有一次，伯父王凤病倒了，王莽二话不说，守在床前，小心翼翼地伺候。他一连几 个昼夜不脱衣服，熬得蓬头垢面、两眼通红，却毫无怨言，为伯父煎汤熬药，端屎端尿……即便药汤盛进了小碗儿，他也不放心，必须亲口尝一尝冷热浓淡……别说 外人，就连王凤的弟弟——王商，都对这个侄子高看一眼。王商特此上书朝廷，希望将自己封邑之下的民户，转至王莽名下。俗话说：“久病床前无孝子”，王莽善 待亲骨肉，的确是发自内心，出于至诚。他尚未发迹时，根本用不着伪装孝子，表演给谁看。'
3、首先去除文本里面的HTML代码片段，通过sub替换空文本的方式，并且strip()去除空格
Python
# coding:utf-8
import recontent = '<p> 新朝，是一个非常特殊的政权，它夹在西汉与东汉之间，默默无闻，在人们的印象中，似乎从来没有存在过。这种“视而不见”的错觉，大概出于两个原 因：一，新朝仅仅维持了14年，寿命太短；二，新朝皇帝王莽，臭名昭著，这位西汉外戚，也是中国历史上第一个“窃国大盗”，他篡位自代，为儒家正统所不 容。于是，天下群起而攻，历代文人都往他身上泼脏水。但是，这个窃国大盗，却是个十足的“大孝子”。为什么说，“大奸”王莽居然是“大孝”呢？且看他如何 对待自家那些长辈。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br /> 隋唐科举制度诞生以前，朝廷依靠什么手段选拔人才呢？一，看名门望族的出身；二，凭各地“举孝廉”。 元朝人郭居敬，曾辑录古代24位孝子故事，编成著名的《二十四孝》。其中，那些夸张、乖戾，甚至有些疯狂的做法，简直是病态，听着，叫人浑身起鸡皮疙瘩。 比如，老莱子“戏彩娱亲”、王祥“卧冰求鲤”、郭巨“埋儿奉母”等等。两汉时代，博得大孝之名，就像现在荣获了“全国五一劳动奖章”，完全可以靠这一点儿 名誉，登堂入室，步入官场。</p><p> 王莽出身于大家族，姑母王政君，嫁给了汉元帝刘奭，伯伯、叔叔，乃至同辈的叔伯兄弟，都“叨光”做了大官。唯独王莽这一枝倒霉，还没沾上姑母的 便宜，父亲便早早地死了。王莽年轻，不得不站出来，顶立门户。他既没钱做资本，也不会其它手艺，有个最大爱好，就是博览群书，钻研儒术。但是，这怎么能养 家糊口呢？实在没辙，全家老少只能咬紧牙关，一块儿过苦日子。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p> 班固在《汉书·王莽传》中记载：“（王莽）事母及寡嫂，养孤兄子，行甚敕备。又外交英俊，内事诸父，曲有礼意。”虽然父亲死了，王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚——双喜临门，自然要张灯结彩、大宴宾客。喜筵刚刚开始，就有人慌里慌张地跑来，在他耳边嘀咕道： “您母亲不舒服，现在，急等用药呢！”王莽立刻脸色大变，拽起仆人，往外就跑。一场婚庆宴会，大概要持续两个时辰，其间，王莽魂不守舍，出来进去了很多 次。</p> 王莽不但心疼老娘，对伯父、叔父等长辈，同样俯首帖耳，非常孝敬。有一次，伯父王凤病倒了，王莽二话不说，守在床前，小心翼翼地伺候。他一连几 个昼夜不脱衣服，熬得蓬头垢面、两眼通红，却毫无怨言，为伯父煎汤熬药，端屎端尿……即便药汤盛进了小碗儿，他也不放心，必须亲口尝一尝冷热浓淡……别说 外人，就连王凤的弟弟——王商，都对这个侄子高看一眼。王商特此上书朝廷，希望将自己封邑之下的民户，转至王莽名下。俗话说：“久病床前无孝子”，王莽善 待亲骨肉，的确是发自内心，出于至诚。他尚未发迹时，根本用不着伪装孝子，表演给谁看。'result = re.sub(r'<[^>].*?>|&.*?;', '', content).strip()
4、然后进行正则的中英文标点符号的替换
Python
# coding:utf-8
import recontent = '<p> 新朝，是一个非常特殊的政权，它夹在西汉与东汉之间，默默无闻，在人们的印象中，似乎从来没有存在过。这种“视而不见”的错觉，大概出于两个原 因：一，新朝仅仅维持了14年，寿命太短；二，新朝皇帝王莽，臭名昭著，这位西汉外戚，也是中国历史上第一个“窃国大盗”，他篡位自代，为儒家正统所不 容。于是，天下群起而攻，历代文人都往他身上泼脏水。但是，这个窃国大盗，却是个十足的“大孝子”。为什么说，“大奸”王莽居然是“大孝”呢？且看他如何 对待自家那些长辈。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/1343463513-0.jpg" /></p><p style="text-align: center">新莽皇帝王莽</p><p><br /> 隋唐科举制度诞生以前，朝廷依靠什么手段选拔人才呢？一，看名门望族的出身；二，凭各地“举孝廉”。 元朝人郭居敬，曾辑录古代24位孝子故事，编成著名的《二十四孝》。其中，那些夸张、乖戾，甚至有些疯狂的做法，简直是病态，听着，叫人浑身起鸡皮疙瘩。 比如，老莱子“戏彩娱亲”、王祥“卧冰求鲤”、郭巨“埋儿奉母”等等。两汉时代，博得大孝之名，就像现在荣获了“全国五一劳动奖章”，完全可以靠这一点儿 名誉，登堂入室，步入官场。</p><p> 王莽出身于大家族，姑母王政君，嫁给了汉元帝刘奭，伯伯、叔叔，乃至同辈的叔伯兄弟，都“叨光”做了大官。唯独王莽这一枝倒霉，还没沾上姑母的 便宜，父亲便早早地死了。王莽年轻，不得不站出来，顶立门户。他既没钱做资本，也不会其它手艺，有个最大爱好，就是博览群书，钻研儒术。但是，这怎么能养 家糊口呢？实在没辙，全家老少只能咬紧牙关，一块儿过苦日子。</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434A550-1.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p style="text-align: center"> <img alt="" src="/uploads/allimg/130227/13434B593-2.jpg" /></p><p style="text-align: center">民间对王莽篡权的褒贬态度</p><p> 班固在《汉书·王莽传》中记载：“（王莽）事母及寡嫂，养孤兄子，行甚敕备。又外交英俊，内事诸父，曲有礼意。”虽然父亲死了，王莽却无微不至 地照料着老娘、寡嫂和侄子。王莽的儿子和侄子同一天结婚——双喜临门，自然要张灯结彩、大宴宾客。喜筵刚刚开始，就有人慌里慌张地跑来，在他耳边嘀咕道： “您母亲不舒服，现在，急等用药呢！”王莽立刻脸色大变，拽起仆人，往外就跑。一场婚庆宴会，大概要持续两个时辰，其间，王莽魂不守舍，出来进去了很多 次。</p> 王莽不但心疼老娘，对伯父、叔父等长辈，同样俯首帖耳，非常孝敬。有一次，伯父王凤病倒了，王莽二话不说，守在床前，小心翼翼地伺候。他一连几 个昼夜不脱衣服，熬得蓬头垢面、两眼通红，却毫无怨言，为伯父煎汤熬药，端屎端尿……即便药汤盛进了小碗儿，他也不放心，必须亲口尝一尝冷热浓淡……别说 外人，就连王凤的弟弟——王商，都对这个侄子高看一眼。王商特此上书朝廷，希望将自己封邑之下的民户，转至王莽名下。俗话说：“久病床前无孝子”，王莽善 待亲骨肉，的确是发自内心，出于至诚。他尚未发迹时，根本用不着伪装孝子，表演给谁看。'result = re.sub(r'<[^>].*?>|&.*?;', '', content).strip()result = re.sub(r'[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。：？、~@#￥%……&*（）]', '', result)print (result)
5、打印出来的结果
Python
新朝是一个非常特殊的政权它夹在西汉与东汉之间默默无闻在人们的印象中似乎从来没有存在过这种视而不见的错觉大概出于两个原因一新朝仅仅维持了14年寿命太短；二新朝皇帝王莽臭名昭著这位西汉外戚也是中国历史上第一个窃国大盗他篡位自代为儒家正统所不容于是天下群起而攻历代文人都往他身上泼脏水但是这个窃国大盗却是个十足的大孝子为什么说大奸王莽居然是大孝呢且看他如何对待自家那些长辈新莽皇帝王莽隋唐科举制度诞生以前朝廷依靠什么手段选拔人才呢一看名门望族的出身；二凭各地举孝廉元朝人郭居敬曾辑录古代24位孝子故事编成著名的二十四孝其中那些夸张乖戾甚至有些疯狂的做法简直是病态听着叫人浑身起鸡皮疙瘩比如老莱子戏彩娱亲王祥卧冰求鲤郭巨埋儿奉母等等两汉时代博得大孝之名就像现在荣获了全国五一劳动奖章完全可以靠这一点儿名誉登堂入室步入官场王莽出身于大家族姑母王政君嫁给了汉元帝刘奭伯伯叔叔乃至同辈的叔伯兄弟都叨光做了大官唯独王莽这一枝倒霉还没沾上姑母的便宜父亲便早早地死了王莽年轻不得不站出来顶立门户他既没钱做资本也不会其它手艺有个最大爱好就是博览群书钻研儒术但是这怎么能养家糊口呢实在没辙全家老少只能咬紧牙关一块儿过苦日子民间对王莽篡权的褒贬态度民间对王莽篡权的褒贬态度班固在汉书王莽传中记载王莽事母及寡嫂养孤兄子行甚敕备又外交英俊内事诸父曲有礼意虽然父亲死了王莽却无微不至地照料着老娘寡嫂和侄子王莽的儿子和侄子同一天结婚双喜临门自然要张灯结彩大宴宾客喜筵刚刚开始就有人慌里慌张地跑来在他耳边嘀咕道您母亲不舒服现在急等用药呢王莽立刻脸色大变拽起仆人往外就跑一场婚庆宴会大概要持续两个时辰其间王莽魂不守舍出来进去了很多次王莽不但心疼老娘对伯父叔父等长辈同样俯首帖耳非常孝敬有一次伯父王凤病倒了王莽二话不说守在床前小心翼翼地伺候他一连几个昼夜不脱衣服熬得蓬头垢面两眼通红却毫无怨言为伯父煎汤熬药端屎端尿即便药汤盛进了小碗儿他也不放心必须亲口尝一尝冷热浓淡别说外人就连王凤的弟弟王商都对这个侄子高看一眼王商特此上书朝廷希望将自己封邑之下的民户转至王莽名下俗话说久病床前无孝子王莽善待亲骨肉的确是发自内心出于至诚他尚未发迹时根本用不着伪装孝子表演给谁看Process finished with exit code 0
Ps:注意一点如果在打印的时候，发现还有部分的标点符号没有被删除掉，那么你可以在第四个步骤中，加入你所需要删除的标点符号就行了！
Python正则去除中英文标点的操作手法相关推荐
- python正则去除换行符,关于python：用于删除换行符的正则表达式
我是Python的新手,我遇到了正则表达式问题. 我正在尝试删除文本文件中每行末尾的换行符,但前提是它跟在小写字母后面,即[a-z]. 如果该行的结尾以小写字母结尾,我想用空格替换换行符/换行符. 这 ...
- [Python]python正则入门--基本元字符匹配操作
正则对于文本文字处理很好用,以前总是觉得很难似的,认真的学习一下发现入门还是很简单的. 首先说的是元字符: [] :-常用来制定一个字符集,只能匹配一个字符 [abc] 匹配a,b或者 c - ...
- php 正则过滤中英文标点
/*** 过滤中英文标签*/public static function punctFilter($text){$text=preg_replace("/[[:punct:]\s]/&quo ...
- python 正则去除括号以及里边的内容
#1.去除括号及括号里的内容 import re text = "房地产开发及商品房销售:房地产信息咨询(中介除外):" text1 = re.sub('\(.*?\)','',t ...
- python正则去除换行符_删除换行符的正则表达式
我的观点是,避免使用积极的lookbehind可能会使代码更具可读性 好的.不过,就我个人而言,我觉得它的可读性并不差.这是口味的问题. 在您的编辑中:首先,(?m)没有必要,因为对于ifp中的行:一 ...
- python中有哪些去除重复项的操作
Python中去除重复项的操作,常用的有以下几种方式: 1. 使用set:将列表转化为集合,再转化为列表,即可去重. list_a = [1, 2, 3, 2, 1, 4, 5, 4, 6, 7, 7 ...
- Python正则匹配 去除文本中的各类emoji表情符号
我们的文本数据中经常会带有很多表情,如何完整地清除得到高质量的文本供我们利用呢? p = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U ...
- python去除常见标点符合以及空格
python去除常见标点符合以及空格 在处理中文语句进行分词前,标点符号比较占位置,可以使用下面方法清空掉. import redef drop_punctuation(text):punc = '~ ...
- python 修改文件只读,Python脚本去除文件的只读性操作
如何在PYTHON中移去文件的只读属性, 用chmod命令stat.S_IWRITE import os import stat os.chmod( filename, stat.S_IWRITE ) ...
最新文章
- R使用glm构建logistic回归模型
- IOS开发CAKeyframeAnimation的基本使用与keypath的列举
- Hexo 博客自定义一个不使用主题模板渲染的独立页面
- Form窗体的属性与值 1123
- Ajax学习总结（2）——Ajax参数详解及使用场景介绍
- 企业Linux安全机制遭遇信任危机 SELinux成骇客帮凶?
- Oozie 调用sqoop导数据出现NoClassDefFoundError问题
- maven编译，控制台中文乱码解决方案
- 瞬时视场、识别距离、mrtd
- UT000010 Session is Invalid
- glove.840B.300d glove词向量词嵌入文件国内服务器下载 出现麻烦阻塞的点时，就要思考google有没有更快捷的方法
- Python人工智能完整学习路线
- 微信小程序开发过程中出现的内存泄漏问题
- 鸡的开口药如何选择 什么药防治鸡开口病最快
- Golang开发的CMS内容发布系统
- 技术胖React博客实战 - 新版问题解决方式整理
- IE6/7常用的hack
- Mansory之一 ：mas_equalTo和equalTo区别与使用
- 13.Python常用第三方库—tabulate库的使用
- html简单留言板教程,JS实现简易留言板（节点操作）