python 复现AC自动机

转载地址：https://www.cnblogs.com/nullzx/news/2017/09/09/7497991.html

详情请参考转载地址，代码如下：

package string_alg;import java.util.ArrayList;
import java.util.HashMap;
import java.util.LinkedList;
import java.util.List;
import java.util.Map.Entry;class AhoCorasickAutomation {/*本示例中的AC自动机只处理英文类型的字符串，所以数组的长度是128*/private static final int ASCII = 128;/*AC自动机的根结点，根结点不存储任何字符信息*/private Node root;/*待查找的目标字符串集合*/private List<String> target;/*表示在文本字符串中查找的结果，key表示目标字符串， value表示目标字符串在文本串出现的位置*/private HashMap<String, List<Integer>> result;/*内部静态类，用于表示AC自动机的每个结点，在每个结点中我们并没有存储该结点对应的字符*/private static class Node {/*如果该结点是一个终点，即，从根结点到此结点表示了一个目标字符串，则str != null, 且str就表示该字符串*/String str;/*ASCII == 128, 所以这里相当于128叉树*/Node[] table = new Node[ASCII];/*当前结点的孩子结点不能匹配文本串中的某个字符时，下一个应该查找的结点*/Node fail;public boolean isWord() {return str != null;}}/*target表示待查找的目标字符串集合*/public AhoCorasickAutomation(List<String> target) {root = new Node();this.target = target;buildTrieTree();build_AC_FromTrie();}/*由目标字符串构建Trie树*/private void buildTrieTree() {for (String targetStr : target) {Node curr = root;for (int i = 0; i < targetStr.length(); i++) {char ch = targetStr.charAt(i);if (curr.table[ch] == null) {curr.table[ch] = new Node();}curr = curr.table[ch];}/*将每个目标字符串的最后一个字符对应的结点变成终点*/curr.str = targetStr;}}/*由Trie树构建AC自动机，本质是一个自动机，相当于构建KMP算法的next数组*/private void build_AC_FromTrie() {/*广度优先遍历所使用的队列*/LinkedList<Node> queue = new LinkedList<Node>();/*单独处理根结点的所有孩子结点*/for (Node x : root.table) {if (x != null) {/*根结点的所有孩子结点的fail都指向根结点*/x.fail = root;queue.addLast(x);/*所有根结点的孩子结点入列*/}}while (!queue.isEmpty()) {/*确定出列结点的所有孩子结点的fail的指向*/Node p = queue.removeFirst();for (int i = 0; i < p.table.length; i++) {if (p.table[i] != null) {/*孩子结点入列*/queue.addLast(p.table[i]);/*从p.fail开始找起*/Node failTo = p.fail;while (true) {/*说明找到了根结点还没有找到*/if (failTo == null) {p.table[i].fail = root;break;}/*说明有公共前缀*/if (failTo.table[i] != null) {p.table[i].fail = failTo.table[i];break;} else {/*继续向上寻找*/failTo = failTo.fail;}}}}}}/*在文本串中查找所有的目标字符串*/public HashMap<String, List<Integer>> find(String text) {/*创建一个表示存储结果的对象*/result = new HashMap<String, List<Integer>>();for (String s : target) {result.put(s, new LinkedList<Integer>());}Node curr = root;int i = 0;while (i < text.length()) {/*文本串中的字符*/char ch = text.charAt(i);/*文本串中的字符和AC自动机中的字符进行比较*/if (curr.table[ch] != null) {/*若相等，自动机进入下一状态*/curr = curr.table[ch];if (curr.isWord()) {result.get(curr.str).add(i - curr.str.length() + 1);}/*这里很容易被忽视，因为一个目标串的中间某部分字符串可能正好包含另一个目标字符串，* 即使当前结点不表示一个目标字符串的终点，但到当前结点为止可能恰好包含了一个字符串*/if (curr.fail != null && curr.fail.isWord()) {result.get(curr.fail.str).add(i - curr.fail.str.length() + 1);}/*索引自增，指向下一个文本串中的字符*/i++;} else {/*若不等，找到下一个应该比较的状态*/curr = curr.fail;/*到根结点还未找到，说明文本串中以ch作为结束的字符片段不是任何目标字符串的前缀，* 状态机重置，比较下一个字符*/if (curr == null) {curr = root;i++;}}}return result;}public static void main(String[] args) {List<String> target = new ArrayList<String>();target.add("abcdef");target.add("abhab");target.add("bcd");target.add("cde");target.add("cdfkcdf");String text = "bcabcdebcedfabcdefababkabhabk";AhoCorasickAutomation aca = new AhoCorasickAutomation(target);HashMap<String, List<Integer>> result = aca.find(text);System.out.println(text);for (Entry<String, List<Integer>> entry : result.entrySet()) {System.out.println(entry.getKey() + " : " + entry.getValue());}}
}

python 复现AC自动机相关推荐

Python——利用AC自动机进行关键词提取
Python--利用AC自动机进行关键词提取目标:在之前写的文章[Python实现多模匹配--AC自动机]基础上,安装gcc(C编译器),再装ahocorasick ,并完成从文本中提取关键词的任务 ...
python实现AC自动机
ac自动机可以看成带指针的字典树,每个节点的指针指向了当前节点的最大后缀的位置.在建立字典树后,可以层次遍历字典树来构建fail指针,根节点的直接孩子(第一层节点)的fail指针肯定是指向根节点的,之 ...
Python实现多模匹配——AC自动机
Python实现多模匹配--AC自动机目标:学习AC自动机,多模匹配. 要求:尽可能用纯Python实现,提升代码的扩展性. 一.什么是AC自动机? AC自动机,Aho-Corasick autom ...
python使用esmre代替ahocorasick实现ac自动机[多模匹配]
Toggle navigation Home saltstack ansible zabbix docker python Golang web开发运维开发运维文艺 python使用esmre代 ...
AC自动机（python）
AC自动机作为天朝发扬光大的算法,常用于非法字符.恶意文本匹配,比如把字符串中的"小学生"变成"***"之类,或是识别是不是违规的帖子之类的.AC自动机是基于前 ...
KMP算法、AC自动机算法的原理介绍以及Python实现
KMP算法要弄懂AC自动机算法,首先弄清楚KMP算法. 这篇文章讲的很好: http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E ...
字符串匹配算法（AC自动机 Aho-Corasick）
文章目录 1. 多模式串匹配 2. 经典多模式串匹配--AC自动机 2.1 AC自动机构建 2.2 在AC自动机上匹配主串 2.3 复杂度分析 3. python包 1. 多模式串匹配前面学的BF. ...
数据结构与算法之美笔记——基础篇（下）：图、字符串匹配算法（BF 算法和 RK 算法、BM 算法和 KMP 算法、Trie 树和 AC 自动机）
图如何存储微博.微信等社交网络中的好友关系?图.实际上,涉及图的算法有很多,也非常复杂,比如图的搜索.最短路径.最小生成树.二分图等等.我们今天聚焦在图存储这一方面,后面会分好几节来依次讲解图相关的 ...
字符串算法 | AC自动机算法
1.简介一种多模式串匹配算法, 可以快速从主串中同时找出所有包含的所有模式串. 对比KMP是单模式匹配, 虽然可以使用单模式串匹配算法逐个进行查找模式串, 但是实际场景中,若模式串的数量可能很大,并 ...

python 复现AC自动机

python 复现AC自动机相关推荐

最新文章

热门文章