需求分析

系统有千万级的禁词需要去过滤
当中包含人名 特殊符号组成的语句 网址 单字组合成的敏感词 等等

初步设计

 1.解决千万级禁词存储及查找问题2.解决被过滤文本内容过多问题

详细设计

 1.采用ES作为禁词库 千万级数据检索时间在毫秒级满足需求2.不适用分词器需要完整匹配 分词后很多词都是合法的 组合之后才是敏感词3.被过滤文本内容分词不完整 利用IK分词器分词结果不适合现在的业务场景只能采用字符串分割的方式来匹配ES库带来的问题就是效率低下同步多线程下千字也需要将近4秒考虑采用异步模式来解决大数据量需要审核状态

千万级敏感词过滤设计相关推荐

1.设计一个敏感词过滤程序
1.设计一个敏感词过滤程序 WordFilter类属性:数组类型[]存放敏感词设计一个方法,调用这个方法(传参,可能会包含敏感词的字符串),返回过滤后的新的字符串public static Str ...
.设计一个敏感词过滤程序
1.设计一个敏感词过滤程序 WordFilter类属性:数组类型[]存放敏感词设计一个方法,调用这个方法(传参,可能会包含敏感词的字符串),返回过滤后的新的字符串 ...
怎么设计高效的敏感词过滤系统（一）
IM项目需要对上边传输的消息进行必要的过滤.如果总是对着某人输入f**k就显得不太文明了. 一个通用且简单的做法是,设定一批敏感词,如果消息中出现这些词,由系统进行必要的处理.怎么实现这个功能呢? 一 ...
【Lilishop商城】No3-2.模块详细设计，系统设置（系统配置、行政区划、物流公司、滑块验证码图片、敏感词过滤）的详细设计
仅涉及后端,全部目录看顶部专栏,代码.文档.接口路径在: [Lilishop商城]记录一下B2B2C商城系统学习笔记~_清晨敲代码的博客-CSDN博客全篇会结合业务介绍重点设计逻辑,其中重点包括接 ...
转：鏖战双十一-阿里直播平台面临的技术挑战(webSocket, 敏感词过滤等很不错)...
转自:http://www.infoq.com/cn/articles/alibaba-broadcast-platform-technology-challenges 鏖战双十一-阿里直播平台面临的 ...
Java实现敏感词过滤
敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.前段时间我一个朋友(马上毕业,接触编程不久)要我帮他看一个文字过滤的东西,它说检索效率非常慢.我把它程序拿过来 ...
5分钟Serverless实践 | 构建无服务器的敏感词过滤后端系统
前言在上一篇"5分钟Serverless实践"系列文章中,我们介绍了什么是Serverless,以及如何构建一个无服务器的图片鉴黄Web应用,本文将延续这个话题,以敏感词过滤为例 ...
5分钟搞定敏感词过滤！
函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩.免运维.高可靠的方式运行.通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻 ...
【go-zero】go-zero 敏感词过滤整合开源过滤敏感词插件 sensitive
一.背景关于敏感词,设计的过滤与屏蔽的方案我认为有2个方向一是:我们在写入的时候,对全部的文本进行控制,让敏感词被replaced 二是:我们在展示的时候,对读取的文本进行控制,让敏感词被repl ...
敏感词过滤算法为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的高效防范违规内容
有人的地方,就有江湖,有输入框的地方,就有注入风险!有输入框的地方,就有敏感词!敏感词就像一个平台杀手,可能直接导致平台被封锁! 敏感词是一个APP.一个网站.一个内容平台的"杀手" ...

千万级敏感词过滤设计

需求分析

初步设计

详细设计

千万级敏感词过滤设计相关推荐

最新文章

热门文章