python轻松过滤处理脏话与特殊敏感词汇的方法

导读	我们开发的系统往往都离不开信息的处理,这些信息有的内容非常敏感,就需要过滤掉不容许出现

python的其中一个强大之处就是它可以方便的集成很多的非标准库，今天在GitHub上溜达又发现了一个脏话处理神器，导入better_profanity库后，只需要几行代码就能搞定了，相当nice！

使用pip的方式将better_profanity非标准库安装好，这个库好像在清华大学的镜像站中没有，其他镜像站不知道有没有，于是下载时没有使用镜像站，默认到官方去下载即可。

pip install better_profanity
# 将处理模块直接导入到代码块中
from better_profanity import profanity

1、默认脏话库/敏感词库处理

默认情况下就只能处理英文的脏话。

censored_text = profanity.censor("you are bitch")
print(censored_text)
# you are ****

可以看到其中bitch字符被认为是脏话已经处理成****字符了。

当然，还可以将处理后的脏话字符换成别的字符代替，比如下面这样处理。

censored_text = profanity.censor("you are bitch",'-')
print(censored_text)
# you are ----

这样****就被替换成了----。

2、自定义过滤信息处理

bad_words = ['Python', 'Java', 'Scala']  # 自定义过滤词汇
profanity.load_censor_words(bad_words)  # 加载自定义过滤词汇
censored_text = profanity.censor("Python is very Good !")  # 执行过滤
print(censored_text)
# **** is very Good !

可以发现，想要过滤的python字符已经成功过滤掉了。

3、contains_profanity函数

contains_profanity函数用来查看我们的语句中是否包含需要过滤的词汇，如果包含则会返回True，否则返回False。

bad_words = ['bitch', 'Java', 'Scala']  # 自定义过滤词汇
profanity.load_censor_words(bad_words)  # 加载自定义过滤词汇
censored_text = profanity.contains_profanity("you are bitch")
print(censored_text)
# True

结果为True，表示包含需要过滤的词汇信息。

4、load_censor_words_from_file函数

load_censor_words_from_file函数用于加载需要过滤词汇的文件。

profanity.load_censor_words_from_file('/usr/load/bad_words.txt')

加载完词汇文件之后，按照之前的逻辑处理即可。

词汇文件的定义格式，按照每个词汇独占一行的形式进行定义，文件格式使用.txt文本文档即可。

# bitch
# bitches
# bitchin
# bitching
# blowjob
# blowjobs
# blue waffle

到此这篇关于python轻松过滤处理脏话与特殊敏感词汇的文章就介绍到这了www.linuxprobe.com

python轻松过滤处理脏话与特殊敏感词汇的方法相关推荐

动态代理的分析以及利用动态代理模式进行敏感词汇过滤
动态代理增强对象的功能: 设计模式:一些通用的解决固定问题的方式代理模式概念: (1). 真实对象:被代理的对象 (2). 代理对象: (3). 代理模式:代理对象代理真实对象,达到增强真实对象 ...
php检测是否存在敏感词,如何用PHP+Ajax判断是否有敏感词汇
本文讲述如何使用PHP和Ajax创建一个过滤敏感词汇的方法,判断是否有敏感词汇. 敏感词汇数组sensitive.php 1 return array ( 2 0 => '111111', 3 ...
python过滤敏感词汇_利用Python正则表达式过滤敏感词的方法
利用Python正则表达式过滤敏感词的方法问题描述:很多网站会对用户发帖内容进行一定的检查,并自动把敏感词修改为特定的字符. 技术要点: 1)Python正则表达式模块re的sub()函数: 2)在 ...
python敏感字替换_教学案例_Python处理敏感词汇方法
社区都会对发布的信息进行检查,并过滤一些非法的敏感词.在python中可以用关键字in来检测内容中是否存在敏感词汇.①检测信息中是否存在非法的敏感词汇,代码如下: ②将待检测信息中的敏感词汇替换为3个 ...
优秀博客 --敏感词汇过滤
2019独角兽企业重金招聘Python工程师标准>>> 敏感词汇过滤 http://www.cnblogs.com/chenssy/p/3751221.html#2966041 树上 ...
玩转python轻松过二级百度网盘,玩转Python轻松过二级
商品详情商品名称:玩转Python轻松过二级商品编号:730249916 上架时间:2020-09-10 18:32:48 编辑推荐 null 内容简介董付国编著的<玩转Python轻松过 ...
python从入门到项目实战李兴华网盘_贺胜军Python轻松入门到项目实战【经典完整版】...
贺胜军Python轻松入门到项目实战课程目录 01_Python基本概述 01_计算机组成_操作系统.avi 02_计算机的进制.avi 03_数据存储单位1.avi 04_编码和解码.avi 05_ ...
python简单代码春节集五福-新年福利来一波之Python轻松集齐五福(demo)
新的一年又要到来了,各个大的公司又在这年末为大家送上了新春的祝福,支付宝还是延续了这几年的传统,在年末为大家送上了集五福的活动,为了大家能更快更好的扫出来大大的"福",今天就带领大 ...
python处理表格数据-60万行的Excel数据，Python轻松处理
原标题:60万行的Excel数据,Python轻松处理一个朋友在某运动品牌公司上班,老板给他布置了一个处理客户订单数据的任务.要求是根据订单时间和客户id判断生成四个新的数据: 1.记录该客户是第几 ...

python轻松过滤处理脏话与特殊敏感词汇的方法

python轻松过滤处理脏话与特殊敏感词汇的方法相关推荐

最新文章

热门文章