开始

sensitive word工具是一个快速的敏感词过滤工具,基于 DFA 算法实现的高性能敏感词工具。

优点

1.DFA算法是相比于其他算发性能更高,所读更改快
2.其中包含默认的敏感词共6W
3.支持自定替换,支持手动扩展敏感词词库,也可以放行敏感词,方形掉相对于使用方不敏感的词语
3.支持运行时加载敏感词词库,无需进行重新部署

准备

1.引入对应的包地址

    <dependency><groupId>com.github.houbb</groupId><artifactId>sensitive-word</artifactId><version>0.2.0</version></dependency>

2.常用api盖览

方法	参数	返回值	说明
contains(String)	待验证的字符串	boolean	false为不存在敏感词,true为存在敏感词
findAll(String)	待验证的字符串	List	返回值为待验证字符串中敏感词集合
replace(String)	待验证的字符串	String	将敏感词使用*替换之后的字符

使用实例

1.是否有敏感词存在

final String text = "五星红旗迎风飘扬，画像屹立在天安门前。";boolean isFalse = SensitiveWordHelper.contains(text);

2.返回所有敏感词

final String text = "五星红旗迎风飘扬，画像屹立在天安门前。";List<String> wordList = SensitiveWordHelper.findAll(text);

3.默认的替换策略

final String text = "五星红旗迎风飘扬，画像屹立在天安门前。";String result = SensitiveWordHelper.replace(text);

4.指定替换词

final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";//指定替换词类ISensitiveWordReplace replace = new MySensitiveWordReplace();String result = SensitiveWordHelper.replace(text, replace);

public class MySensitiveWordReplace implements ISensitiveWordReplace {@Overridepublic String replace(ISensitiveWordReplaceContext context) {String sensitiveWord = context.sensitiveWord();//五星红旗，毛主席铭感词来源可以为数据库if("五星红旗".equals(sensitiveWord)) {return "国家旗帜";}if("毛主席".equals(sensitiveWord)) {return "教员";}// 其他默认使用 * 代替int wordLength = context.wordLength();return CharUtil.repeat('*', wordLength);}}

新工具类

1.为了便于项目的开发,敏感词有一个新的工具类fluent-api 让开发方式更加简化

SensitiveWordBs wordBs = SensitiveWordBs.newInstance().ignoreCase(true) //忽略大小写.ignoreWidth(true)//忽略半角圆角.ignoreNumStyle(true)//忽略数字的写法.ignoreChineseStyle(true)//忽略中文的书写格式.ignoreEnglishStyle(true)//忽略英文的书写格式.ignoreRepeat(true)//忽略重复词.enableNumCheck(true)//是否启用数字检测。默认连续 8 位数字认为是敏感词.enableEmailCheck(true)//是有启用邮箱检测.enableUrlCheck(true)//是否启用链接检测.init();final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";
Assert.assertTrue(wordBs.contains(text));

在一般情况下在开发中会遇到一些关于敏感词范围过大或这敏感词范围不全这种情况,这个时候就会用到敏感词的白名单与黑名单

//黑名单
public class MyWordDeny implements IWordDeny {@Overridepublic List<String> deny() {return Arrays.asList("我的自定义敏感词");}}

//白名单
public class MyWordAllow implements IWordAllow {@Overridepublic List<String> allow() {return Arrays.asList("五星红旗");}}

@Configuration
public class SpringSensitiveWordConfig {@Autowiredprivate MyDdWordAllow myDdWordAllow;@Autowiredprivate MyDdWordDeny myDdWordDeny;/*** 初始化引导类* @return 初始化引导类* @since 1.0.0*/@Beanpublic SensitiveWordBs sensitiveWordBs() {SensitiveWordBs sensitiveWordBs = SensitiveWordBs.newInstance().wordAllow(WordAllows.chains(WordAllows.system(), myDdWordAllow)).wordDeny(WordDenys.chains(WordDenys.system(), myDdWordDenys))// 各种其他配置.init();return sensitiveWordBs;}}

如果使用的敏感词白名单与黑名单的数据来源为第三方,或者当敏感词库发生更新时就需要重新加载敏感词,此时也公共了一个方法,这个方法需要手动触发,或者定时任务触发

@Component
public class SensitiveWordService {@Autowiredprivate SpringSensitiveWordConfig springSensitiveWordConfig;/*** 更新词库** 每次数据库的信息发生变化之后，首先调用更新数据库敏感词库的方法。* 如果需要生效，则调用这个方法。** 说明：重新初始化不影响旧的方法使用。初始化完成后，会以新的为准。*/public void refresh() {// 每次数据库的信息发生变化之后，首先调用更新数据库敏感词库的方法，然后调用这个方法。springSensitiveWordConfig.sensitiveWordBs.init();}}

测试新工具

  final String text = "五星红旗迎风飘扬，毛主席的画像屹立在天安门前。";String replace = springSensitiveWordConfig.sensitiveWordBs().replace(text);

敏感词工具（sensitive word）的使用相关推荐

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive
一.背景关于敏感词,设计的过滤与屏蔽的方案我认为有2个方向一是:我们在写入的时候,对全部的文本进行控制,让敏感词被replaced 二是:我们在展示的时候,对读取的文本进行控制,让敏感词被repl ...
java 实现敏感词(sensitive word)工具详解使用说明
sensitive-word 平时工作中,只要涉及到用户可以自由发言(博客.文档.论坛),就要考虑内容的敏感性处理. sensitive-word 基于 DFA 算法实现的高性能敏感词工具.工具使用 ...
敏感词汇工具类sensitive word的使用及详解
简述: 1.平时工作中,只要涉及到用户可以自由发言(博客.文档.论坛),就要考虑内容的敏感性处理,sensitive word工具是一个快速的敏感词过滤工具,基于 DFA 算法实现的高性能敏感词工具( ...
网站发帖敏感字java_网站敏感词过滤的实现（附敏感词库）
现在基本上所有的网站都需要设置敏感词过滤,z似乎已经成了一个网站的标配,如果你的网站没有,或者你没有做相应的处理,那么小心相关部门请你喝茶哦. 最近在调研Java web网站的敏感词过滤的实现,网上找 ...
基于布隆过滤器实现敏感词识别和过滤
在当前的网络环境下,敏感词过滤已经是各大网站的"标准配置",如果不想被大量的垃圾信息充斥,除了使用机器人识别.验证码等验证工具,还需要阻止含有敏感词内容的发布,否则可能面临关站等风 ...
基于ik分词器和布隆过滤器实现敏感词过滤
文章目录准备阶段为何选用IK Analyzer 什么是布隆过滤器开发过程整合Ik 总结 <基于ik分词器和布隆过滤器实现敏感词过滤>首发牧马人博客转发请加此提示最近公司业务有个 ...
Java实现敏感词过滤
敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来 ...
vue 敏感词过滤前端
vue 敏感词过滤前端根据正则来进行过滤敏感词是一个数组词比较多专门存放在js文件里面 vue用 export 导出再引入到需要用的组件里 judgeBadWord(obj) {let w ...

敏感词工具（sensitive word）的使用