RIPPER算法原理

在众多分类算法中，决策树作为一种基于有监督学习的层次模型被大量使用，其有一种其他算法难以比拟的优点：可解释性强——通过将学习到的决策树可以很轻易的转换成“如果…那么”形式的规则。但决策树规则的建立依赖于树的生成，树的建立过程是对整个空间的递归划分、建立局部模型的过程，往往比较耗时，那么有没有方法可以跳过这一过程呢？答案就是规则归纳算法。不同于树归纳，其不需要建立搜索树而是采用深度优先搜索策略直接从数据集生成规则且每次生成一条，在构造规则的过程中利用了决策树的特点，通过诸如比较每个属性的信息增益不断贪心地添加规则前件，并且在每条规则的建立过程中使用后剪枝对规则进行裁剪，每条规则逐次生成然后加入到规则库中直到无法再添加更多规则。为了尽可能减少过拟合现象，在规则加入到规则库以后一样有剪枝步，这使得归纳算法有较好的过拟合现象。规则归纳算法的一个例子是RIPPER算法，其从一系列算法的基础上发展而来，与传统决策树算法如C4.5相比，其算法效率大大提升，而正确率相差不大。 先从一个很基础的规则算法REP说起，REP的意思是Reduced Error Pruning，意即减少错误剪枝，其把训练集分成独立的生长集和剪枝集，在生长集上贪心地产生规则并在剪枝集上不断被简化直到规则的准确性下降。作为一个很基础的算法其满足规则归纳的各个要件，描绘了RIPPER算法大体框架。然后是在REP算法上发展起来的IREP，其最主要的改变是使用了先剪枝与后剪枝结合的办法。接下来是IREP*算法，相比于IREP，其引入了最小描述长度用于判断停止条件，并且在剪枝时使用了新的度量标准1。而RIPPER算法则是在IREP*的基础上加入了优化阶段，其产生在IREP*产生的规则上进一步调整后的结果。 首先从最简单的二分类问题开始介绍RIPPER，先明确下若干概念：
<

RIPPER算法原理相关推荐

CRF(条件随机场)与Viterbi(维特比)算法原理详解
摘自:https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA https://www.cnblogs.com/zhibei/p/9391014.html C ...
三维目标检测算法原理
三维目标检测算法原理输入输出接口 Input: (1)图像视频分辨率(整型int) (2)图像视频格式(RGB,YUV,MP4等) (3)左右两边的车道线位置信息摄像头标定参数(中心位置(x,y) ...
3D-2D：PnP算法原理
3D-2D:PnP算法原理 1.问题背景-- 什么是PnP问题 ? 2.PnP问题的求解方法 2.1 P3P 2.1.1 算法的实际理解 2.1.2 算法的数学推导 2.1.3 算法的缺陷 2.2 直 ...
MySQL索引背后的数据结构及算法原理【转】
http://blog.codinglabs.org/articles/theory-of-mysql-index.html MySQL索引背后的数据结构及算法原理[转] 摘要本文以MySQL数据库 ...
文本分类的基本思想和朴素贝叶斯算法原理
文本分类的基本思想和朴素贝叶斯算法原理
Bagging与随机森林算法原理小结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boos ...
干货 | 非常全面的谱聚类算法原理总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达谱聚类算法是目前最流行的聚类算法之一,其性能及适用场景优于传统的聚 ...
层次聚类算法原理总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达层次聚类(hierarchical clustering)基于簇间 ...
从传感器到算法原理，机器人、视觉避障尽在此文
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:计算机视觉life 避障是指移动机器人在行走过程中,通过 ...

RIPPER算法原理

RIPPER算法原理相关推荐

最新文章

热门文章