浅析过滤敏感词过滤算法(C++)

本文转自浅析敏感词过滤算法(C++)，自己也在其基础上根据自己的情况做了一点修改。

为了提高查找效率，这里将敏感词用树形结构存储，每个节点有一个map成员，其映射关系为一个string对应一个WordNode。
比如敏感词库里面有枪手、手枪、枪支弹药这几个词，读入后就变成了如下图所示的树状结构。

STL::map是按照operator<比较判断元素是否相同，以及比较元素的大小，然后选择合适的位置插入到树中。
下面主要实现了WordNode类，进行节点的插入以及查询。

WordNode.h

class WordNode
{
private:friend class WordTree;typedef map<string, WordNode> _TreeMap;typedef map<string, WordNode>::iterator _TreeMapIterator;string m_character;_TreeMap m_map;WordNode* m_parent;public:WordNode(string character);WordNode(){m_character = "";};string getCharacter() const{ return m_character; };WordNode* findChild(string& nextCharacter);WordNode* insertChild(string& nextCharacter);
};

WordNode.cpp

WordNode::WordNode(string character){if (character.size() == PACE){m_character.assign(character);}elsecout << "error" << endl;
}WordNode* WordNode::findChild(string& nextCharacter){_TreeMapIterator TreeMapIt = m_map.find(nextCharacter);if (TreeMapIt == m_map.end()){return NULL;}else{return &TreeMapIt->second;}
}WordNode* WordNode::insertChild(string& nextCharacter){if (!findChild(nextCharacter)){m_map.insert(pair<string,WordNode>(nextCharacter, WordNode(nextCharacter)));return &(m_map.find(nextCharacter)->second);}return NULL;
}

另外，

#define PACE 1

这里的PACE原本是2，因为一个GBK汉字占两个字符，而且原文中也说了如果需要考虑英文或中英文结合的情况，将PACE改为１。
不过我试过之后，觉得不管是中文、英文还是中英文，PACE为 1 都适用，结果都没错，只不过中文的情况下每个节点的string都不再是一个完整的汉字，而是汉字的一个字符。

接下来实现这个tree，在建立WordNode树时，以parent为根节点建立，一开始parent为m_emptyRoot，然后keyword按照规则添加到树中，假设一开始m_emptyRoot为空，keyword为”敏感词”，则会以”敏感词”为一条分支建立成为一颗树枝’敏’->’感’->’词’,此后，若想再添加”敏感度”，由于”敏感词”与”敏感度”的前两个字相同，则会在’敏’->’感’->’词’的基础上，从字’感’开始新生长出一颗分支，即’敏’->’感’->’度’,这两颗分支共用’敏’->’感’。

下面代码实现了WordTree类，进行树的构成及查询。

WordTree.h

class WordTree
{
public:int count;WordNode* insert(string &keyword);WordNode* insert(const char* keyword);WordNode* find(string& keyword);WordTree(){ count = 0; };private:WordNode m_emptyRoot;int m_pace;WordNode* insert(WordNode* parent, string& keyword);WordNode* insertBranch(WordNode* parent, string& keyword);WordNode* find(WordNode* parent, string& keyword);
};

WordTree.cpp

WordNode* WordTree::insert(string &keyword){return insert(&m_emptyRoot, keyword);
}WordNode* WordTree::insert(const char* keyword){string wordstr(keyword);return insert(wordstr);
}WordNode* WordTree::find(string& keyword){return find(&m_emptyRoot,keyword);
}WordNode* WordTree::insert(WordNode* parent, string& keyword){if (keyword.size() == 0){return NULL;}string firstChar = keyword.substr(0, PACE);WordNode* firstNode = parent->findChild(firstChar);if (firstNode == NULL){return insertBranch(parent,keyword);}string restChar = keyword.substr(PACE, keyword.size());return insert(firstNode, restChar);
}WordNode* WordTree::insertBranch(WordNode* parent, string& keyword){string firstChar = keyword.substr(0, PACE);WordNode* firstNode = parent->insertChild(firstChar);if (firstNode != NULL){string restChar = keyword.substr(PACE, keyword.size());if (!restChar.empty()){return insertBranch(firstNode, restChar);}}return NULL;
}WordNode* WordTree::find(WordNode* parent, string& keyword){string firstChar = keyword.substr(0, PACE);WordNode* firstNode = parent->findChild(firstChar);if (firstNode==NULL){count = 0;return NULL;}string restChar = keyword.substr(PACE, keyword.size());if (firstNode->m_map.empty()){return firstNode;}if (keyword.size()==PACE){return NULL;}count++;return find(firstNode, restChar);
}

最后就是利用上述的Tree来实现敏感词过滤，WordFilter::censor(string &source) 函数用来进行敏感词过滤，source即输入的字符串，如果source包含敏感词，则用“**”替代掉。

WordFilter::load(const char* filepath) 函数通过文件载入敏感词，并构建WordTree，这里我用的是txt文件。

下面实现了WordFilter类。

WordFilter.h

class WordFilter
{
public:static WordFilter* pInstace;static WordFilter* sharedInstace();static void release();
private:WordTree m_tree;public:void load(const char* filepath);void censor(string &source);
};

WordFilter.cpp

WordFilter* WordFilter::sharedInstace(){if (pInstace){return pInstace;}pInstace = new WordFilter;return pInstace;
}
void WordFilter::release(){if (pInstace){delete pInstace;}pInstace = NULL;
}void WordFilter::load(const char* filepath){ifstream infile(filepath, ios::in);if (!infile){cout << "open file error" << endl;}else{cout << "open file succeed" << endl;string read;while (getline(infile, read)){
#if (CC_TARGET_PLATFORM == CC_PLATFORM_ANDROID || CC_TARGET_PLATFORM == CC_PLATFORM_IOS)string s;s = read.substr(0, read.length() - 1);m_tree.insert(s);
#endif}}infile.close();
}void WordFilter::censor(string &source){int lenght = source.size();for (int i = 0; i < lenght; i += 1){string substring = source.substr(i, lenght - i);if (m_tree.find(substring) != NULL){source.replace(i, (m_tree.count+1), "**");lenght = source.size();cout << "source = " <<  source << endl;}}
}

这里说明一点，本人是做Cocos2d-x手游客户端开发的，程序是要移植到安卓或者iOS平台上。当逐行读取txt文件中的敏感词并构成树的时候，getline(infile, read)函数得到的read字符串后面带有结束符，比如“枪手\0”，这时跟我们需要检测的字符串“…枪手…”就明显不符合，这是检测不出来的。这种情况我现在只知道在安卓或者iOS平台存在，而在windows环境下VS中是不会出现这种问题的。所以我对读取到的字符串做了处理，把最后一个字符也就是结束符去掉，再进行下一步操作。

浅析过滤敏感词过滤算法(C++)相关推荐

C#过滤敏感词DFA算法
今天游戏正好用到需要过滤敏感词将出现的敏感词替换成*,在网上找了许久找了一片可用的java版本的DFA算法,最后费了一番功夫将其思路用C#实现,里面的注释甚至都没改动的,这里直接上代码,这里不借助任何 ...
php 对全角字符的过滤,php在做敏感词过滤时怎么解决用特殊符号分割、简繁体、半角全角，来绕开过滤的问题？...
彻底地过滤敏感词回复内容: 彻底地过滤敏感词过滤和谐词其实并不是一个好策略,有一万种说出敏感词的方法,就一定会有第一万零一种,如果你反复设置程序去和谐这些词,最后会发现,你的会员连最基本的一些话都 ...
字符串匹配算法 -- AC自动机基于Trie树的高效的敏感词过滤算法
文章目录 1. 算法背景 2. AC自动机实现原理 2.1 构建失败指针 2.2 依赖失败指针过滤敏感词 3. 复杂度及完整代码 1. 算法背景之前介绍过单模式串匹配的高效算法:BM和KMP 以及 ...
dfa算法c语言,DFA跟trie字典树实现敏感词过滤（python和c语言）
DFA和trie字典树实现敏感词过滤(python和c语言) 现在做的项目都是用python开发,需要用做关键词检查,过滤关键词,之前用c语言做过这样的事情,用字典树,蛮高效的,内存小,检查快. 到了 ...
TypeScript：Aho–Corasick算法实现敏感词过滤
敏感词过滤应该是许多后端同事经常会遇到的需求,无论是评论.弹幕.文章,都需要做敏感词过滤处理来规避风险.在前端开发中,使用replace函数来替换字符串是我们的常规操作,在这之前我思考过如果用Java ...
【图解算法面试】记一次面试：说说游戏中的敏感词过滤是如何实现的？
版权声明:本文为苦逼的码农原创.未经同意禁止任何形式转载,特别是那些复制粘贴到别的平台的,否则,必定追究.欢迎大家多多转发,谢谢. 小秋今天去面试了,面试官问了一个与敏感词过滤算法相关的问题,然而小秋 ...
敏感词过滤 - DFA算法[确定有穷自动机]的Java 实现
文章目录敏感词过滤 - DFA算法[确定有穷自动机]的Java 实现敏感词过滤 - DFA算法[确定有穷自动机]的Java 实现代码如下 package utils;import com.goo ...
敏感词过滤算法为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的高效防范违规内容
有人的地方,就有江湖,有输入框的地方,就有注入风险!有输入框的地方,就有敏感词!敏感词就像一个平台杀手,可能直接导致平台被封锁! 敏感词是一个APP.一个网站.一个内容平台的"杀手" ...
trie树之敏感词过滤算法
之前写过一篇关于Trie树的介绍:Trie树--在一个字符串集合中快速查找某个字符串.今天就用Trie树来实现敏感词过滤算法. 首先简单介绍一下Trie树的数据结构: 1.根节点不存储字符. 2.Tr ...

浅析过滤敏感词过滤算法(C++)

浅析过滤敏感词过滤算法(C++)相关推荐

最新文章

热门文章