FPGrowth算法理论
- FP-tree构建
- 第一遍扫描数据，找出频繁1项集L，按降序排序
- 第二遍扫描数据：
- 对每个transaction，过滤不频繁集合，剩下的频繁项集按L顺序排序
- 把每个transaction的频繁1项集插入到FP-tree中，相同前缀的路径可以共用
- 同时增加一个header table，把FP-tree中相同item连接起来，也是降序排序
==>
- 频繁项挖掘
- 从header table的最下面的item开始，构造每个item的条件模式基（conditional pattern base）
- 顺着header table中item的链表，找出所有包含该item的前缀路径，这些前缀路径就是该item的条件模式基（CPB）
- 所有这些CPB的频繁度（计数）为该路径上item的频繁度（计数）
- 如包含p的其中一条路径是fcamp，该路径中p的频繁度为2，则该CPB fcam的频繁度为2
- 构造条件FP-tree（conditional FP-tree）
- 累加每个CPB上的item的频繁度（计数），过滤低于阈值的item，构建FP-tree
- 如m的CPB{<fca:2>, <fcab:1>}，f:3, c:3, a:3, b:1, 阈值假设为3，过滤掉b
- FP-Growh：递归的挖掘每个条件FP-tree，累加后缀频繁项集，直到找到FP-tree为空或者FP-tree只有一条路径（只有一条路径情况下，所有路径上item的组合都是频繁项集）
- 从header table的最下面的item开始，构造每个item的条件模式基（conditional pattern base）
- FP-Tree中header table按item降序排序原因
- 共用前缀：不排序会造成不能共用前缀
- 更多的共用前缀：频繁的item会在树的上层，可以被更多的共享；升序排序会造成那些频繁出现的item出现在树的分支中，不能更多的共用前缀
- 共用前缀：不排序会造成不能共用前缀
- Mining Frequent Patterns without Candidate Generation: A Frequent-Pattern Tree Approach∗、PPT
- mahout并行化FPGrowth实现
- 顶
- 7
- 踩
FPGrowth算法理论相关推荐
- 【白话机器学习】算法理论+实战之关联规则
1. 写在前面 如果想从事数据挖掘或者机器学习的工作,掌握常用的机器学习算法是非常有必要的,常见的机器学习算法: 监督学习算法:逻辑回归,线性回归,决策树,朴素贝叶斯,K近邻,支持向量机,集成算法Ad ...
- 关联分析Apriori算法和FP-growth算法初探
1. 关联分析是什么? Apriori和FP-growth算法是一种关联算法,属于无监督算法的一种,它们可以自动从数据中挖掘出潜在的关联关系.例如经典的啤酒与尿布的故事.下面我们用一个例子来切入本文对 ...
- Spark机器学习(9)：FPGrowth算法
关联规则挖掘最典型的例子是购物篮分析,通过分析可以知道哪些商品经常被一起购买,从而可以改进商品货架的布局. 1. 基本概念 首先,介绍一些基本概念. (1) 关联规则:用于表示数据内隐含的关联性,一般 ...
- Apriori算法、FP-Growth算法、顺序分析、PrefixSpan算法
Apriori算法.FP-Growth算法.顺序分析.PrefixSpan算法 目录 Apriori算法.FP-Growth算法.顺序分析.PrefixSpan算法 Apriori算法 FP-Grow ...
- 【机器学习实战】第12章 使用 FP-growth 算法来高效发现频繁项集
第12章 使用FP-growth算法来高效发现频繁项集 前言 在 第11章 时我们已经介绍了用 Apriori 算法发现 频繁项集 与 关联规则. 本章将继续关注发现 频繁项集 这一任务,并使用 FP ...
- 一步步教你轻松学朴素贝叶斯模型算法理论篇1
一步步教你轻松学朴素贝叶斯模型理论篇1 (白宁超2018年9月3日17:51:32) 导读:朴素贝叶斯模型是机器学习常用的模型算法之一,其在文本分类方面简单易行,且取得不错的分类效果.所以很受欢迎,对 ...
- 【机器学习】Apriori 算法进行关联分析和FP-growth算法
[机器学习]Apriori 算法进行关联分析和FP-growth算法 文章目录 1 关联分析 2 FP-growth算法理解和实现 3 FP增长算法的频繁项集产生 4 FP-Growth关联分析算法在 ...
- 模拟退火算法理论+Python解决函数极值+C++实现解决TSP问题
简述 算法设计课这周的作业: 赶紧写了先,不然搞不完了. 文章目录 简述 算法理论部分 变量简单分析 从状态转移概率到状态概率 推导 理解当温度收敛到接近0的时候,收敛到结果 理论部分的后记 pyth ...
- 使用FP-growth算法发现频繁项集
源码如下: #coding=utf-8''' Created on Jun 14, 2011 FP-Growth FP means frequent pattern the FP-Growth alg ...
- 频繁项集挖掘之Aprior和FPGrowth算法
频繁项集挖掘的应用多出现于购物篮分析,现介绍两种频繁项集的挖掘算法Aprior和FPGrowth,用以发现购物篮中出现频率较高的购物组合. 基础知识 项:"属性-值"对.比如啤酒2 ...
最新文章
- 用tar来备份Ubuntu操作系统
- Python_问题收录总结
- 蓝桥杯java第四届决赛第一题--猜灯谜
- 树回归源码分析（1）
- 不具有继承关系的Delegate如何进行类型转换？
- java客户端服务器聊天程序流程图_基于java的socket简单聊天编程
- 零基础学python比较好的网课-请问自学 Python 有必要买课程吗？
- c语言中有关逗号表达式
- linux设置磁盘配额查看目录文件大小命令
- BZOJ2434 [Noi2011]阿狸的打字机（AC自动机 + fail树 + DFS序 + 线段树）
- OCR图像识别与汽车后市场
- 花4个月时间整理出《Spring揭秘》的文字版的感受
- 电容电感充电曲线仿真图
- 49个Excel常用技巧
- aardio Access数据库和所有表
- 关于删除某文件需要TrustedInstaller权限的解决方法
- php短信不同账号发,php用不同平台批量发短信
- 制作openstack系统镜像
- C语言验证哥德巴赫猜想
- pandas实战训练之招聘信息