一、背景

关于敏感词，设计的过滤与屏蔽的方案我认为有2个方向

一是：我们在写入的时候，对全部的文本进行控制，让敏感词被replaced
二是：我们在展示的时候，对读取的文本进行控制，让敏感词被replaced

目前我是选择的后者，考虑到写入的性能与并发性，不对写入时进行控制
在读取后添加缓存的方式进行提高读的效率

这里就看您的业务对读需求量大，还是写入，自行评估去决策

二、关于 sensitive 与 trie算法

本次使用插件是 sensitive：https://github.com/importcjj/sensitive

其实他内部还是实现的trie算法

基础算法–Trie树

trie，又称前缀树或字典树，是一种有序树，用于保存关联数组，其中的键通常是字符串。与二叉查找树不同，键不是直接保存在节点中，而是由节点在树中的位置决定。一个节点的所有子孙都有相同的前缀，也就是这个节点对应的字符串，而根节点对应空字符串。一般情况下，不是所有的节点都有对应的值，只有叶子节点和部分内部节点所对应的键才有相关的值。 – 维基百科

2.1、配置

首先需要加载他的字典
之前尝试过通过对象存储去加载，对比

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive相关推荐

过滤：sql、敏感词、html、js、css
sql 参数过滤 if (!function_exists('sql_filter')) {/*** sql 参数过滤* @param string $str* @return mixed*/func ...
敏感词过滤之——自定义构建查询词库与快速查询实现
关于敏感词过滤的一点思考与实践业务场景思考与研究逻辑分析代码实现(php) 构建敏感词树分割字符串敏感词树长分支的递归实现读取敏感词库敏感词树的查询查询实现调用测试.分析与总结 ...
php自定义词库简单分词，敏感词替换
关键词匹配类 <?phpnamespace App\Library;use App\Library\Redis;class SensitiveWordFilter {protected $dic ...
Cris 的 Python 数据分析笔记 05：Pandas 数据读取，索引，切片，计算，列整合，过滤，最值
Pandas 数据读取,索引,切片,计算,列整合,过滤,最值文章目录 Pandas 数据读取,索引,切片,计算,列整合,过滤,最值 1. read_csv 函数 2. DataFrame 数据结构的 ...
【Python】文本文件生成词云图片-单字过滤和任意形状词云和清晰度提高
[Python]txt文本文件生成词云图片资源提供纯方框,无文字单字过滤任意形状词云提高清晰度完整代码该程序由pycharm运行,产生的图片文件在项目文件夹内. 资源提供决胜全面建成小 ...
检查mysql敏感词_拼多多违禁词怎么查拼多多敏感词违规词检测
我们都知道拼违禁词带来的危害有违禁词的商品会被下架,店铺极大的概率会被扣分罚款,甚至于职业打假人也会关注这些问题商品,对有违禁词商品进行投诉赔款等事项.所以在店铺运营过程中,对店铺内商品不定时进行 ...
es 时间过滤java,Elasticsearch过滤与聚合的先后顺序java实现
一.Elasticsearch的聚合 ES的聚合相当于关系型数据库里面的group by,例如查找在性别字段男女人数的多少并且按照人数的多少进行排序,在使用MySQL的时候,可以使用如下的句子 sel ...
结巴分词完全禁用默认词库（仅使用自定义词库）
有时候需要使用自定义的词库,不使用默认的词库.比如做敏感词分词时, 完全禁用掉默认词库. jieba 分词里面可以这样处理,通过set_dictionary 来设置自定义词库,从而禁用掉默认词库. i ...
清华词向量库_word2vec 构建中文词向量
词向量作为文本的基本结构--词的模型,以其优越的性能,受到自然语言处理领域研究人员的青睐.良好的词向量可以达到语义相近的词在词向量空间里聚集在一起,这对后续的文本分类,文本聚类等等操作提供了便利,本文 ...

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive

一、背景

二、关于 sensitive 与 trie算法

2.1、配置

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive相关推荐

最新文章

热门文章

【go-zero】go-zero 敏感词过滤 整合 开源过滤敏感词插件 sensitive

一、背景

二、关于 sensitive 与 trie算法

2.1、配置

【go-zero】go-zero 敏感词过滤 整合 开源过滤敏感词插件 sensitive相关推荐

最新文章

热门文章

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive

【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive相关推荐