整理的敏感词解决思路

敏感词的检测与替换，是一个很常见的需求，因此搜了下网上的大致实现方案，这里简单整理下。

简单替换
正则替换
DFA
基于朴素贝叶斯分类算法

简单替换

string = "hello world"
string.replace("o wo", "***")

类似于上面的代码，我们会使用一个敏感词列表，来对目标字符串进行检测与替换，比较适合于敏感词列表和待检测目标字符串都比较小的场景。

正则替换

re.sub("|".join(keywords), "***", text)

非要扒开来说，和上面的正则替换是类似的，只不过用了专门的 re 库来做，效率会高一点。本质上没什么大的变化。

DFA

典型范例：Trie树。我去年有幸用python写了一个比较low的版本。不适用于中文场景，然后今日看了hutaishi的代码，觉得不赖，拿过来改了改，以后或许会用得到。

import java.util.HashMap;
import java.util.Map;/***  前缀树实现*  特点：*    1. 根节点不包含字符，除根节点外每一个子节点都包含一个字符*    2. 从根节点到某一个节点，路径即为对应的单词*    3. 每个节点的所有子节点包含的字符各不相同*    4. 从第一字符开始有连续重复的字符只占用一个节点，如to，ten，第一个节点都是t*    *  应用：*    1. 前缀匹配*    2. 字符串检索*    3. 词频统计*    4. 字符串排序？第一次知道还有这么个功能。*/
public class TrieTree {// 根节点private TrieNode rootNode = new TrieNode();// 判断是否为一个符号private boolean isSymbol(char c) {int ic = (int)c;// 0x2e80 - 0x9fff 东亚文字范围 忽略用Apache的CharUtils的工具判断return !(ic>0x2e80 && ic<0x9fff);}private void addWord(String lineText) {TrieNode temNode = rootNode;for(int i=0; i<lineText.length(); i++) {Character c = lineText.charAt(i);if(isSymbol(c)) {continue;}TrieNode node = temNode.getSubNode(c);if (node == null) {node = new TrieNode();temNode.addSubNode(c, node);}temNode = node;if(i == lineText.length()-1) {temNode.setKeywordEnd(true);}}}public String filter(String text) {if("".equals(text)) {return text;}String replacement = "***";StringBuilder result = new StringBuilder();TrieNode temNode = rootNode;int begin = 0; // 开始指针int position = 0; // 位移指针while(position < text.length()) {char c = text.charAt(position);// 空格或者非东亚文字并且不是字母字符直接跳过if(isSymbol(c)) {if (temNode == rootNode) {result.append(c);begin++;}position++;continue;}temNode = temNode.getSubNode(c);if(temNode == null) {// 以begin开始的字符串不会存在敏感字符result.append(text.charAt(begin));// 跳到下一个字符进行测试position = begin + 1;begin = position;// 回到前缀树的根节点temNode = rootNode;} else if(temNode.isKeywordEnd()) {// 发现敏感词，从begin到position的位置进行替换result.append(replacement);position ++;begin = position;temNode = rootNode;} else {++position;}}result.append(text.substring(begin));return result.toString();}public static void main(String[] args) {TrieTree tree = new TrieTree();tree.addWord("赌博");tree.addWord("春天来了");System.out.println(tree.filter("春"));System.out.println(tree.filter("春夏秋冬"));System.out.println(tree.filter("黄赌博"));System.out.println(tree.filter("春天"));System.out.println(tree.filter("冬天来了，春天来了，夏天还会远吗"));}class TrieNode{private boolean end = false;private Map<Character, TrieNode> subNodes = new HashMap<Character, TrieNode>();void addSubNode(Character key, TrieNode node) {subNodes.put(key, node);}TrieNode getSubNode(Character key) {return subNodes.get(key);}boolean isKeywordEnd() {return end;}void setKeywordEnd(boolean end) {this.end = end;}public int getSubNodeCount() {return this.subNodes.size();}}}

运行结果如下：

春
春夏秋冬
黄***
春天
冬天来了，***，夏天还会远吗

这个应该算是一个比较不错的范例了，实操性比较强。

朴素贝叶斯分类算法

写过一个使用朴素贝叶斯分类算法实现的一个敏感词检测的程序，没有应用到线上环境，所以不敢保证准确度。更为关键的是：

先验概率很重要，也就是初识敏感词列表要有很高的准确度才可以。

链接如下：Golang+PHP朴素贝叶斯分类敏感词检测

小结

忘了是听谁说的了，人不可能学会所有知识，但整理、总结会让智慧得到升华。这里整理了网上常见的敏感词检测相关的内容，肯定还有没写进来的好的方案，到时候遇到了再来补充。

参考链接：
1 https://www.jianshu.com/p/c124b0d6ebb0
2 https://my.oschina.net/hutaishi/blog/885356