敏感词过滤优化的解决方案

介绍

敏感词字库匹配其实是关键字的一种匹配。最简单想到的额方法就是，如果要匹配某个字符串，去遍历敏感字库，这是最简单粗暴的方式。但是很明显当字库很大时，比如有六十万条数据，那么这样一个字库去遍历是非常耗时的。那么就需要我们去通过数据结构去优化匹配的方式。

暴力法和利用字典优化的方式

暴力法

直接对敏感词库进行遍历，意义对比，去全字匹配。

        static void DirectFilter(string word){for (int i = 0; i < sensitiveArr.Length; i++)  //遍历铭感词数组{if (word == sensitiveArr[i])      //测试查找"粉丝"敏感词{Console.WriteLine("匹配到敏感字： "+ word);break;                            //匹配到之后，退出循环}}     }

利用字典优化的方式

核心思想，就是利用关键字去搜索。定义字典或者hashtable,kye是铭感词的首字符例如“粉”，val是所有以“粉”为首字符的敏感词组成的一个链表。这样处理之后，我们去搜索一个敏感词的时候，首先判断字典里有没有这个key，没有就直接结束，有就去遍历这个key对应的value，这样处理之后，每个敏感词可能只需要搜索几次，就能比对完，非常快。

//初始化字典
static void SensitiveDicInit(){for (int i = 0; i < sensitiveArr.Length; i++)       //遍历数组{char key = sensitiveArr[i][0];      //首字符作为Key,首字符相同的铭感词组成的链表作为valuif (worldsTab.ContainsKey(key))     //有key就直接add{worldsTab[key].Add(sensitiveArr[i]);}else                                //没有就新建一个list再add{List<string> tmpList = new List<string>();tmpList.Add(sensitiveArr[i]);worldsTab.Add(key, tmpList);}}}static void QuickFilter(string word) {char key = word[0];if (worldsTab.ContainsKey(key))    //查找首字符是否在字典，在就去遍历value对应的List，不在就说明不是铭感词{for (int i = 0; i < worldsTab[key].Count; i++)          //遍历value对应的List{if (word == worldsTab[key][i]){Console.WriteLine("找到了对应的关键词: " + word);return;}}Console.WriteLine("没找到对应的关键词: " + word);}else {Console.WriteLine("没找到首关键字  key: " + word[0]);}}

效果

我们在入口函数里面跑一下，测试一下匹配效率。

static void Main(string[] args){sensitiveStr = File.ReadAllText(@"d:\temp.txt");        //从文件中读取出敏感字符串sensitiveArr = sensitiveStr.Split(',');                 //处理成敏感词数组Stopwatch watch = new Stopwatch();      //时间监测类，用来检测代码执行时间mswatch.Start();DirectFilter("粉丝");watch.Stop();                           //结束检测Console.WriteLine("暴力方式匹配执行时长： " + watch.Elapsed.TotalMilliseconds);  //输出暴力法执行时间mswatch.Restart();SensitiveDicInit();watch.Stop();Console.WriteLine("字典初始化执行时长： " + watch.Elapsed.TotalMilliseconds);watch.Restart();QuickFilter("粉丝");watch.Stop();Console.WriteLine("字典方式匹配执行时长： " + watch.Elapsed.TotalMilliseconds);Console.ReadLine();}

这里是效果图

可以看到暴力法匹配需要9.3796ms,优化过后的方法需要15.7792ms+0.3141ms,明显是优化后的方式慢了。但是，我们可以发现只是初始化比较耗时，真正的匹配只消耗了0.3ms。所以不难发现，但敏感词库足够大时，或则说需要进行多次匹配时，后者的优势就会体现出来了。

总结

这里只是一个小小的demo，只做了全字匹配，大家如果有兴趣，其实可以加上正则表达式，去完成真正意义上的过滤敏感词。欢迎评论探讨技术，我是程序员小虎。