AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配算法。

解决的问题:给出n个单词,再给出一段包含m个字符的文章,让你找出有多少个单词在文章里出现过。(也是解决web开发中关键字链接的常用算法:n个关键字,1篇文章,找出关键字在文章出现的位置)

思路:在一棵trie树上面做Kmp,每个节点都有个像Kmp一样匹配失败时的指针(失败指针),匹配失败时按照失败指针指向的节点继续匹配。

要搞懂AC自动机,先得有模式树(字典树)Trie和KMP模式匹配算法的基础知识。AC自动机算法分为3步:构造一棵Trie树,构造失败指针和模式匹配过程。KMP中我们用两个指针i和j分别表示,A[i-j+ 1..i]与B[1..j]完全相等。也就是说,i是不断增加的,随着i的增加j相应地变化,且j满足以A[i]结尾的长度为j的字符串正好匹配B串的前 j个字符,当A[i+1]≠B[j+1],KMP的策略是调整j的位置(减小j值)使得A[i-j+1..i]与B[1..j]保持匹配且新的B[j+1]恰好与A[i+1]匹配,而next函数恰恰记录了这个j应该调整到的位置。同样AC自动机的失败指针具有同样的功能,也就是说当我们的模式串在Tire上进行匹配时,如果与当前节点的关键字不能继续匹配的时候,就应该去当前节点的失败指针所指向的节点继续进行匹配。

例子:给定5个单词:say she shr he her,然后给定一个字符串yasherhs。问一共有多少单词在这个字符串中出现过。先规定AC自动机所需要的数据结构。

1 const int kind = 26; 
2 struct node{  
3     node *fail;           //失败指针
4     node *next[kind];     //Tire每个节点的个子节点(最多个字母)
5     int count;            //是否为该单词的最后一个节点
6     node(){               //构造函数初始化
7         fail=NULL; 
8         count=0; 
9         memset(next,NULL,sizeof(next)); 
10     } 
11 }*q[500001];              //队列,方便用于bfs构造失败指针
12 char keyword[51];         //输入的单词
13 char str[1000001];        //模式串
14 int head,tail;            //队列的头尾指针

首先,将这5个单词构造成一棵Tire,如图所示。

在构造完这棵Tire之后,接下去的工作就是构造下失败指针。构造失败指针的过程概括起来就一句话:设这个节点上的字母为C,沿着他父亲的失败指针走,直到走到一个节点,他的儿子中也有字母为C的节点。然后把当前节点的失败指针指向那个字母也为C的儿子。如果一直走到了root都没找到,那就把失败指针指向root。具体操作起来只需要:先把root加入队列(root的失败指针指向自己或者NULL),这以后我们每处理一个点,就把它的所有儿子加入队列,队列为空。

1 void build_ac_automation(node *root){
2     int i;
3     root->fail=NULL; 
4     q[head++]=root; 
5     while(head!=tail){ 
6         node *temp=q[tail++]; 
7         node *p=NULL; 
8         for(i=0;i<26;i++){ 
9             if(temp->next[i]!=NULL){ 
10                 if(temp==root) temp->next[i]->fail=root;                 
11                 else{ 
12                     p=temp->fail; 
13                     while(p!=NULL){  
14                         if(p->next[i]!=NULL){ 
15                             temp->next[i]->fail=p->next[i]; 
16                             break; 
17                         } 
18                         p=p->fail; 
19                     } 
20                     if(p==NULL) temp->next[i]->fail=root; 
21                 } 
22                 q[head++]=temp->next[i];  
23             } 
24         }   
25     } 
26 }

从代码观察下构造失败指针的流程:对照图-2来看,首先root的fail指针指向NULL,然后root入队,进入循环。第1次循环的时候,我们需要处理2个节点:root->next[‘h’-‘a’](节点h) 和 root->next[‘s’-‘a’](节点s)。把这2个节点的失败指针指向root,并且先后进入队列,失败指针的指向对应图-2中的(1),(2)两条虚线;第2次进入循环后,从队列中先弹出h,接下来p指向h节点的fail指针指向的节点,也就是root;进入第13行的循环后,p=p->fail也就是p=NULL,这时退出循环,并把节点e的fail指针指向root,对应图-2中的(3),然后节点e进入队列;第3次循环时,弹出的第一个节点a的操作与上一步操作的节点e相同,把a的fail指针指向root,对应图-2中的(4),并入队;第4次进入循环时,弹出节点h(图中左边那个),这时操作略有不同。在程序运行到14行时,由于p->next[i]!=NULL(root有h这个儿子节点,图中右边那个),这样便把左边那个h节点的失败指针指向右边那个root的儿子节点h,对应图-2中的(5),然后h入队。以此类推:在循环结束后,所有的失败指针就是图中的这种形式。

最后,我们便可以在AC自动机上查找模式串中出现过哪些单词了。匹配过程分两种情况:(1)当前字符匹配,表示从当前节点沿着树边有一条路径可以到达目标字符,此时只需沿该路径走向下一个节点继续匹配即可,目标字符串指针移向下个字符继续匹配;(2)当前字符不匹配,则去当前节点失败指针所指向的字符继续匹配,匹配过程随着指针指向root结束。重复这2个过程中的任意一个,直到模式串走到结尾为止。

1 int query(node *root){ 
2     int i=0,cnt=0,index,len=strlen(str); 
3     node *p=root;  
4     while(str[i]){  
5         index=str[i]-'a';  
6         while(p->next[index]==NULL && p!=root) p=p->fail; 
7         p=p->next[index]; 
8         p=(p==NULL)?root:p; 
9         node *temp=p; 
10         while(temp!=root && temp->count!=-1){ 
11             cnt+=temp->count; 
12             temp->count=-1; 
13             temp=temp->fail; 
14         } 
15         i++;                 
16     }    
17     return cnt; 
18 }

对照图,看一下模式匹配这个详细的流程,其中模式串为yasherhs。对于i=0,1。Trie中没有对应的路径,故不做任何操作;i=2,3,4时,指针p走到左下节点e。因为节点e的count信息为1,所以cnt+1,并且讲节点e的count值设置为-1,表示改单词已经出现过了,防止重复计数,最后temp指向e节点的失败指针所指向的节点继续查找,以此类推,最后temp指向root,退出while循环,这个过程中count增加了2。表示找到了2个单词she和he。当i=5时,程序进入第5行,p指向其失败指针的节点,也就是右边那个e节点,随后在第6行指向r节点,r节点的count值为1,从而count+1,循环直到temp指向root为止。最后i=6,7时,找不到任何匹配,匹配过程结束

转载于:https://www.cnblogs.com/PegasusWang/archive/2013/05/27/3101882.html

AC自动机(Aho-Corasick automation)(转)相关推荐

  1. TypeScript:Aho–Corasick算法实现敏感词过滤

    敏感词过滤应该是许多后端同事经常会遇到的需求,无论是评论.弹幕.文章,都需要做敏感词过滤处理来规避风险.在前端开发中,使用replace函数来替换字符串是我们的常规操作,在这之前我思考过如果用Java ...

  2. 学习笔记:AC自动机

    话说AC自动机有什么用......我想要自动AC机 AC自动机简介:  首先简要介绍一下AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配 ...

  3. ac自动机 匹配最长前缀_AC自动机算法

    AC自动机简介: 首先简要介绍一下AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配算法之一.一个常见的例子就是给出n个单词,再给出一段包 ...

  4. 极限定律 My Algorithm Space AC自动机算法详解

    转载自:http://www.cppblog.com/mythit/archive/2009/04/21/80633.html 首先简要介绍一下AC自动机:Aho-Corasick automatio ...

  5. 算法讲解:ac自动机及简单衍生

    AC自动机简介:  首先简要介绍一下AC自动机:Aho-Corasick automation,该算法在1975年产生于贝尔实验室,是著名的多模匹配算法之一.一个常见的例子就是给出n个单词,再给出一段 ...

  6. java ac自动机_AC自动机算法详细讲解(入门)

    AC自动机讲解 序言:经常听别人说AC自动机,觉得ac自动机是个很神奇,很高深,很难的算法,学完之后发现,ac自动机确实很神奇,很高深,但是却并不难,只要知道怎么构建失败指针就基本初步掌握了. 先了解 ...

  7. ac自动机 匹配最长前缀_Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配

    本文使用Double Array Trie实现了一个性能极高的Aho Corasick自动机,应用于分词可以取得1400万字每秒,约合27MB/s的分词速度.其中词典为150万词,构建耗时1801 m ...

  8. 【AC自动机】【数据结构】【树】【Aho-Corasick automation】AC自动机理解(入门)...

    引入 我们首先提出一个问题: 给出n个串每个串的长度≤m 然后给出一个长度为k的串,询问前n个串中有多少个是匹配成了的 暴力搜索 这题不是sb题目吗? 随随便便O(kmn)跑过. .... n=100 ...

  9. Aho-Corasick 多模式匹配算法(AC自动机) 的算法详解及具体实现

    多模式匹配 多模式匹配就是有多个模式串P1,P2,P3-,Pm,求出所有这些模式串在连续文本T1-.n中的所有可能出现的位置. 例如:求出模式集合{"nihao","ha ...

最新文章

  1. 今晚直播 | 基于知识图谱的人机对话系统方法与实践
  2. jdk1.8hashmap为什么对hash进行了一次扰动处理
  3. 头文件包含【预处理】(58)
  4. 工程代码_特征工程学习,19 项实践 Tips!代码已开源!
  5. Codeforces Round #732 (Div. 1Div. 2)
  6. 【CodeForces - 1051A】Vasya And Password (构造,水题)
  7. ubuntu 转mysql_(转)Ubuntu 16.04下安装MySQL
  8. 利用itext包实现java报表打印_利用iText包实现Java报表打印
  9. python UI/API 环境配置
  10. 基于图像识别的火灾检测系统设计
  11. archlinux i3wm flameshot使用
  12. CAN FD的波特率到底能跑多快?
  13. 分区混乱,C盘不是系统盘怎么办?
  14. PS CJ34预算转借
  15. tomcat 日志拆分
  16. 全网首发:12306抢票算法大曝光?(十张图搞定)
  17. NPIO操作Excel入门
  18. 20个非常有趣的网站,挺有意思。
  19. 单反相机风景摄影易记易学口诀
  20. Android-茫茫9个月求职路,终于拿满意offer

热门文章

  1. 关系查询处理 查询优化 论文_叮!你有一份留学论文攻略,请查收~
  2. android曲线水波纹录音动画,Android-贝塞尔曲线实现水波纹动画
  3. 开课吧课堂:Kubernetes集群环境常见问题解决
  4. 机器人技术与人工智能有什么区别?
  5. linux修改文件的权限和修改文件所有者和所属组
  6. Security - 轻量级Java身份认证、访问控制安全框架
  7. Shiro自定义realm实现密码验证及登录、密码加密注册、修改密码的验证
  8. 个推 Spark实践教你绕过开发那些“坑”
  9. Debian 7 Wheezy 安装 VirtualBox
  10. asp.net中调用javascript自定义函数的方法(包括引入JavaScript文件)总结