偷懒是罪过，拖到今天才把测试弄完。
算法实现在了解原理之后并不算难，本文的测试指标比较简单，只使用了一个数据集按照大小和规则书计算时间和速度。
建议：了解以下AC算法的改进方法、测试可以用多种数据集，测试以下内存消耗。

一、算法概述

Aho–Corasick算法是由Alfred V. Aho和Margaret J.Corasick 发明的字符串搜索算法，用于在输入的一串字符串中匹配有限组“字典”中的子串。
该算法主要依靠构造一个有限状态机（类似于在一个trie树中添加失配指针）来实现。这些额外的失配指针允许在查找字符串失败时进行回退（例如设Trie树的单词cat匹配失败，但是在Trie树中存在另一个单词cart，失配指针就会指向前缀ca），转向某前缀的其他分支，免于重复匹配前缀，提高算法效率。

算法主要分为以下三个部分：

构造Goto表：成功转移到另一个状态
构造Failture指针：如果某状态发生匹配失败，需要跳转到一个特定的节点
匹配：匹配成功某一字符串

举例：
模式串{she,his,hers}，文本为“ushhis”。算法流程如下图：

Goto：根据模式串{she,his,hers}构造出一个Trie树结构，如左图所示。其中，灰色节点代表终点态，节点状态之间的字符为跳转字符。
Failure：
根节点：失败节点指向自己。
非根节点：对于状态匹配失败的节点a，如果其父节点的失败节点可以根据该节点a的跳转字符成功转移状态到另一节点b，那么就将失败节点a指向该节点b；如果其父节点的失败节点不能根据该节点的跳转字符转移状态到另一节点，那么就将失败节点a将检查其父节点的父节点的失败节点是否满足上述条件；依次递推，如果回溯到根节点还未找到，那就指向将失败节点指向根节点。
Match：
a. 每轮跳转结束后，所停留在的节点，如果是终点态，则该节点对应的模式串匹配成功；
b. 从停留的节点开始，沿Failure路径递归至根节点，路过的所有的节点，只要是终点态节点，则该节点对应的模式串也就匹配成功。

匹配例子：
状态转换图如上所示，当我们输入文本为ushhis时，跳转步骤如下:

当前状态0，输入u，无法正常跳转，进入Failure路径，到达状态0
当前状态0，输入s，可以正常跳转，到达状态7
当前状态7，输入h，可以正常跳转，到达状态8
当前状态8，输入h，无法正常跳转，进入Failure路径，到达状态1
当前状态1，输入i，可以正常跳转，到达状态2
当前状态2，输入s，可以正常跳转，到达状态3
当我们执行到上面的第八步时，我们发现状态3是一个终点态。所以，我们可以判定，此时我们找到了模式串his。

二、算法实现

下面是算法主要函数：

1. 构建Aho–Corasick自动机

func (ac *AhoCorasick) Build(dictionary []string) {for i, _ := range dictionary {ac.Insert(dictionary[i]) //goto}ac.Build_fail() //failac.mark = make([]bool, ac.size)
}func (ac *AhoCorasick) Insert(s string) {curNode := ac.rootfor _, v := range s {if curNode.child[v] == nil { curNode.child[v] = newTrieNode()ac.count++ }curNode = curNode.child[v] }curNode.end = len(s)   curNode.index = ac.size ac.size++
}func (ac *AhoCorasick) Build_fail() { ll := list.New()ll.PushBack(ac.root)for ll.Len() > 0 {temp := ll.Remove(ll.Front()).(*trieNode)var p *trieNode = nilfor i, v := range temp.child {if temp == ac.root {v.fail = ac.root} else {p = temp.failfor p != nil {if p.child[i] != nil {v.fail = p.child[i]break}p = p.fail}if p == nil {v.fail = ac.root}}ll.PushBack(v)}}
}

2. 输出匹配结果

func (ac *AhoCorasick) Match(s string) (ret []int, pos []int) {curNode := ac.rootac.resetMark()var p *trieNode = nilfor key, v := range s {for curNode.child[v] == nil && curNode != ac.root {curNode = curNode.fail}curNode = curNode.child[v]if curNode == nil {curNode = ac.root}p = curNodefor p != ac.root && p.end > 0 && !ac.mark[p.index] {ret = append(ret, p.index)    pos = append(pos, key-p.end+2) p = p.fail}}return ret, pos
}

三、实验

1. 实验设计

1) 实验环境

操作系统: windows
CPU: Intel® Core™ i5-8250U CPU @ 1.60GHz

2) 实验数据

数据集1：url_data.txt
总共100万条数据，占内存39.5MB，平均字符串长度约为49。
数据集2：url_2w.txt
总共19956条数据，占内存827KB，平均字符串长度约为53。
AC自动机由数据集2的近2万条规则构造，测试集由数据集1的100万条规则构造。

2. 不同大小文件的匹配时间

将数据集1拆分为不同大小的文件，记录匹配时间及速度。

1) 实验过程

2) 实验结果

实验结果如上表所示，匹配时间随着文件增大而增加，文件大小为39.5MB时，匹配时约为1.37s，匹配速度达到了28MB/s的速度。

3. 不同规则条的搜索时间

将数据集1的100万条规则大小的文件拆分成不同规则数目文件，记录匹配时间及速度。

1) 实验过程

2) 实验结果

实验结果显示规则数增加，匹配时间加长。当规则数量达到100万条时，匹配时间需要1.3s左右。另外，每条规则的匹配时间最好为0.00000131795，最差为0.00000177287s，相差不大。

源码参考

https://github.com/zoetu/Aho-Corasick

【算法】Aho-Corasick多模式匹配算法相关推荐

解析BF(普通串模式匹配算法)算法
写在前面:博主是一位普普通通的19届双非软工在读生,平时最大的爱好就是听听歌,逛逛B站.博主很喜欢的一句话花开堪折直须折,莫待无花空折枝:博主的理解是头一次为人,就应该做自己想做的事,做自己不后悔的事 ...
【数据结构】字符串模式匹配算法的理解与实现 Brute Force算法(BF算法)与KMP算法（C与C++分别实现）
#笔记整理若不了解串的定义,可至: 串(string)的定义与表示查看串的模式匹配算法求子串位置的定位函数 Index(S, P, pos) 求子串的定位操作通常称作串的模式匹配(其中子串P称 ...
BF算法(暴力算法)--模式匹配算法
模式匹配算法:是数据结构中字符串的一种基本运算,给定一个子串,要求在某个字符串中找出与该子串相同的所有子串,这就是模式匹配.用途:搜索引擎.拼写检查.语言翻译.数据压缩等. BF算法: ...
串--串的定义，顺序、链式存储结构，BF、KMP模式匹配算法（C语言描述）
此文章仅作为自己学习过程中的记录和总结,同时会有意地去用英文来做笔记,一些术语的英译不太准确,内容如有错漏也请多指教,谢谢! 一.串(String)的定义: 串(String):由零个或多个字符组成的 ...
也许，你可以像我这样来理解KMP模式匹配算法
本文已在本人微信公众号"码农小阿飞"上发布,打开微信搜索"码农小阿飞",或者扫描文章结尾的二维码,进入公众号并关注,就可以在第一时间收到我的推文! 前言不管是 ...
Aho-Corasick 多模式匹配算法(AC自动机) 的算法详解及具体实现
多模式匹配多模式匹配就是有多个模式串P1,P2,P3-,Pm,求出所有这些模式串在连续文本T1-.n中的所有可能出现的位置. 例如:求出模式集合{"nihao","ha ...
字符串的模式匹配（朴素模式匹配算法，KMP算法）
字符串的模式匹配寻找字符串p在字符串t中首次出现的起始位置字符串的顺序存储 typedef struct {char str[MAXSIZE];int length; }seqstring; 朴素 ...
KMP算法--字符串模式匹配算法
今天看到第四章<串>了,其中我觉得花的时间多一点的值得我写篇随笔的知识点就是:4.3 串的模式匹配算法:书上介绍了两种字符串匹配算法,一种是最简单最容易想到的逐个字符匹配算法(时间复杂度在 ...
模式匹配算法----KMP算法以及next数组的解法
KMP算法:求字符串匹配(也叫模式匹配)的算法,即给定一个字符串,求其某一子串在其中出现的位置. 普通模式匹配例如:给定字符串为abcabaaabaabcac,求其子串abaabcac在其中出现的位 ...
时空权衡在模式匹配算法中的应用（JAVA）--Horspool算法（简化版BM算法）
模式匹配是数据结构中字符串的一种基本运算,给定一个子串,要求在某个字符串中找出与该子串相同的所有子串.假设P是给定的子串,T是待查找的字符串,要求从T中找出与P相同的所有子串,这个问题成为模式匹配问题 ...

【算法】Aho-Corasick多模式匹配算法

一、算法概述

二、算法实现

1. 构建Aho–Corasick自动机

2. 输出匹配结果

三、实验

1. 实验设计

2. 不同大小文件的匹配时间

1) 实验过程

2) 实验结果

3. 不同规则条的搜索时间

1) 实验过程

2) 实验结果

源码参考

【算法】Aho-Corasick多模式匹配算法相关推荐

最新文章

热门文章