python处理一段话，使他只存在英文，和数字

前段时间跑了了一个自然语言的程序，主要是用来处理一段话，使他只有英文和数字。

我自己写了一个类，用来实现以下的功能

（1）去掉文字中的url

（2）去掉文字中所有的非英文的短语或者单词。

（3）去掉文字中所有的符号，如!,@#(&$*等

（4）去掉文字中的所有的\n \t \r

（5）把文字全部变成小写

（6）去掉文字中所有x00,x0z这样的特殊的符号，这里只能去掉x+数字着这样开头的文字

import re
#这个文件是专门处理str类型的文件，
#主要目的是去掉一段话里的非英文的内容，去掉url，去掉特殊字符如\n,\t,\r,x00这样的特殊字符
#还有就是去掉文字中的所有符号，
#把文字变成小写。
class process_str:def get_english(self,dd):st = ""for k in dd.split():if len(re.findall("[^a-zA-Z\d.]", k)) == 0:st = st + " " + kreturn stdef process_data(self,data) -> str:# 去掉urldata_first = re.sub(r'(https|http)?:\/\/(\w|\.|\/|\?|\=|\&|\%|-)*\b', '', data, flags=re.MULTILINE)# 去掉所有的符号，把大写改为小写。data_second = data_first.replace(r"\n", " ").replace("?", ' ') \.replace("/", ' ').replace(",", ' ').replace("\\", ' '). \replace("~", ' ').replace("+", ' ').replace("=", ' ') \.replace("!", ' ').lower().replace("#", ' ').replace("@", ' ').replace(r"""""", '') \.replace("$", ' ').replace("%", ' ').replace("(", ' ').replace(r"\r", ' ') \.replace(")", ' ').replace("-", ' ').replace("_", '').replace(":", ' ') \.replace(";", ' ').replace("'", ' ').replace("{", ' ').replace("}", ' ') \.replace("[", ' ').replace("]", ' ').replace("|", ' ').replace("*", ' ') \.replace(">", ' ').replace("<", ' ').replace("$", " ").replace("^", ' ') \.replace(r"\t", ' ')# 去掉x0z这类的东西data_three = re.sub(r'x[0-9][a-zA-Z.\d]*', '', data_second, flags=re.MULTILINE)# 去掉非英文和数字的部分data_four = self.get_english(data_three).replace(".", " ")return data_four

代码的py文件我放在了我的github上process_str.py中

python处理一段话，使他只存在英文，和数字相关推荐

StringUtils.isAlphanumeric(String)方法检查中文是通过的，需要注意。它不能用来检测字符串是否只包含英文和数字。
在org.apache.commons.lang3.StringUtils类中,有一个方法isAlphanumeric(String).它的用途是判断字符串是否仅由字母和数字构成,如果含有特殊字符是不 ...
python 注释一段话_干货！Python入门基础知识点总结
或看好Python的广阔前景,或看中Python的语法简洁,越来越多零基础的人选择学Python.但是Python基础知识有哪些呢?且看我的分析. Python部分基础知识点汇总数据类型:编程中操作 ...
python 注释一段话_Python快速入门(一)
引言 Python作为一个,目前最火的编程语言之一,已经渗透到了各行各业.它易学好懂,拥有着丰富的库,功能齐全.人生苦短,就用Python. 这个快速入门系列分为六篇,包含了Python大部分基础知识 ...
Python使用正则表达式识别代码中的中文、英文和数字实例演示
Python 正则表达式识别代码中的中文.英文和数字识别中文识别英文识别数字拓展在文本处理和数据分析中,有时候需要从代码中提取出其中包含的中文.英文和数字信息.正则表达式是一种强大的工具,可 ...
python 删除一段话中某一个字符串开始之后的所有字符串
python要删除一段字符串之后的所有字符串,可以使用partition函数. 比如: p_example = "尊敬的领导,你们好.在开发的s公司历时两年直到工程完毕至今,扔拖欠我们18万 ...
vue项目 el-input输入框字符限制，只显示英文及数字
element的el-input没有限制输入的内容,想要限制输入内容就需要自己来开发,我使用的方式是正则来判断进行再次赋值实现的, 不废话上代码: <el-input v-model=" ...
QTextEdit 只允许英文输入
设置 QTextEdit 的 WA_InputMethodEnabled 属性为 false,可使其只允许英文输入,其他类型输入框同理. QTextEdit *w = new QTextEdit(); ...
markdown python整段话_（7）python少儿编程之基础语法（二）
五.缩进程序是有层次关系的比如我们判断一个结果为是的时候要干什么而干什么这个内容就要写在判断语句下而python 约定4个空格缩进为一个层次关系我先写一个简单的语句看不懂没关系理解这 ...
python判断一个或者多个字符串，是否出现在一段话中
python判断一个或者多个字符串,是否出现在一段话中要判断一段话中是否有几个字符串,只要一个出现就为True,刚开始想用map函数,后来发现也挺麻烦. 查了一些资料,发现用 any比较好比如 p ...
编程笔试(解析及代码实现)：国内各大银行(招商银行/浦发银行等)在线笔试常见题目(猴子吃桃/字符串逆序输出/一段话输出字的个数/单词大小转换等)及其代码实现(Java/Python/C#等)之详细攻略
编程笔试(解析及代码实现):国内各大银行(招商银行/浦发银行等)在线笔试常见题目(猴子吃桃/字符串逆序输出/一段话输出字的个数/单词大小转换等)及其代码实现(Java/Python/C#等)之详细攻略 ...

python处理一段话，使他只存在英文，和数字

python处理一段话，使他只存在英文，和数字相关推荐

最新文章

热门文章