敏感词检测算法review

字符串匹配是一个技术活，敏感词检测首先有一个敏感词词库，也就是敏感词的列表。

第一个想到的方法把敏感词放到一个set里，再待检测的文本分词，到set里去匹配；

第二种方法是遍历set，用正则表达式来过滤。

以上两种方法，在数据量小的时候没有问题，但是，当数据量非常大的时候，性能就不行了。

前缀树算法：
https://blog.csdn.net/qq_37410328/article/details/83183673

AC自动机：
https://blog.csdn.net/weixin_33973600/article/details/91664339

DFA算法：
https://www.cnblogs.com/zyguo/p/4705086.html

github:
https://github.com/toolgood/ToolGood.Words

敏感词检测算法review相关推荐

PHP敏感词匹配算法,敏感词检测算法小结
序本文简单介绍下敏感词或者脏词检测算法. 经典AC算法经典的AC算法由三部分构成,goto表,fail表和output表,共包含四种具体的算法,分别是计算三张查找表的算法以及AC算法本身. got ...
一种基于DFA算法的敏感词检测JAVA程序片段
本文章提供一种基于DFA算法的敏感词检测JAVA程序片段,如下: 1.构造多叉树数据结构 import org.jetbrains.annotations.NotNull;/*** 多叉树* @aut ...
关于java中敏感词检测的一些总结
之前项目里客户提出一个需求,需要对系统中使用文本转化成语音发送的功能进行敏感词检测,禁止用户提交有敏感词的语音.通过查询各方面资料,整理了大概几种方案: 项目启动时对载入敏感词库作为缓存(一个大map ...
写一个高性能的敏感词检测组件
最近写了一个高性能的敏感词检测组件[ToolGood.Words]. 一.高性能,它的效率到底有多快? 如果将正则表达式的算法效率设为1,高性能可达到正则表达式的1.5万倍. 二.选一个巧妙的算法: ...
Go+PHP实现敏感词检测
概述广告,敏感词检测一直以来都是让人头疼的话题,仅仅通过添加敏感词列表是解决不了问题的.今天封禁了这个词,明天又会有新的违禁词冒出来,比起愚公无穷尽的子孙更甚. 敏感词匹配这种治标不治本的方法,在一 ...
java 敏感词检测
在网上看到好多的敏感词检测,发现都是在推荐某某算法,但是敏感词全是利用文本去存放.在项目中不能很好的进行维护和管理(个人看法). 本文的敏感词的检测方式还是DFA算法检测,不过敏感词存放地址放入了Re ...
【敏感词检测】用DFA构建字典树完成敏感词检测任务
任务概述敏感词检测是各类平台对用户发布内容(UGC)进行审核的必做任务. 对于文本内容做敏感词检测,最简单直接的方法就是规则匹配.构建一个敏感词词表,然后与文本内容进行匹配,如发现有敏感词,则提交报 ...
一次敏感词检测开发记录
需求用户上传execl,前端解析excel ,解析之后,将excel的json数据,传给后端,后端通过关键字检测算法,返回你之前传的数据,并且附件敏感字.然后前端渲染数据只table.并且用户以到e ...
浅析过滤敏感词过滤算法(C++)
本文转自浅析敏感词过滤算法(C++),自己也在其基础上根据自己的情况做了一点修改. 为了提高查找效率,这里将敏感词用树形结构存储,每个节点有一个map成员,其映射关系为一个string对应一个Word ...

敏感词检测算法review

敏感词检测算法review相关推荐

最新文章

热门文章