Boosting原理学习

行人检测用到Adaboost，在此之前应该把Boosting先搞明白。

Boosting：based on "Nobody is perfect",combine common report ti obtain perfect expert.

先介绍一些Boosting的概念：

机器学习（Machine learning）：将一些已知的并已被成功解决的问题作为范例输入计算机，及其通过学习这些范例总结并生成相应规则，这些规则具有通用性，使用它们可以解决一类问题。

学习机（learner）：及其学习得到的规则或者模型。

样本：所研究问题的实例，一般在训练集中包括正样本和负样本。

训练：采用某种方法，用已知属性的演变作为输入，得到相应规则的过程。

训练集：由已知属性的样本组成的集合，作为训练过程的输入数据。

测试集：由已知属性的样本组成的集合，作为测试过程的输入数据。

假设：学习机对样本做出的判断，即是否符合需要判断的事实。

特征选取：从实际数据中抽取反映其本质规律的属性。

如从人脸图像向量做PCA变换得到特征向量的投影系数

机器学习系统结构表示：

现在介绍两个最重要的概念：弱学习机（weak learner）和强学习机（strong learner）。

弱学习机：对一定分布的训练样本给出假设（这种假设很简单粗略，仅仅强于随机猜测），如根据有云猜测可能会下雨。

强学习机：根据得到的弱学习机和相应的权重给出假设（最大程度上符合实际情况），如根据有云、CCTV天气预报、老人家的话推测有雨。

Boosting算法的流程如下：

1.原始训练集输入，带有原始分布；

2.给出训练集中各样本的权重；

3.将给变分布后的训练集输入已知的弱学习机，弱学习机对每个样本给出假设；

4.对此次的弱学习机给出权重；

5.转到2，直到循环到一定次数或者某度量标准符合要求；

6.将弱学习机按其相应的权重加权组合形成强学习机。

Boosting原理学习相关推荐

集成学习-Boosting集成学习算法GBDT
GBDT算法的核心为:先构造一个(决策)树,然后不断在已有模型和实际样本输出的残差上再构造一颗树,依次迭代. 目录 Decistion Tree(决策树) Gradient Boosting(梯度提升 ...
Boosting原理及其应用
一.背景故事: 某男到医院就诊,医生亲切地问了一些该男的症状,最后得出结论:"医生说我怀孕了..." 血淋淋的故事告诉我们: 需要一个好的诊断器:根据病人的一系列症状,得出病人患 ...
Mybatis底层原理学习（二）：从源码角度分析一次查询操作过程
在阅读这篇文章之前,建议先阅读一下我之前写的两篇文章,对理解这篇文章很有帮助,特别是Mybatis新手: 写给mybatis小白的入门指南 mybatis底层原理学习(一):SqlSessionFac ...
Docker镜像原理学习理解
Docker镜像原理学习理解一.Docker镜像的组成 1.Docker镜像图层 2.union file system 3.镜像层-bootfs 4.镜像层-rootfs 5.镜像层-依赖环境 6 ...
Redis主从复制原理学习
Redis主从复制原理学习总结 - 运维笔记和Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况.为了分担读压力,Redis支持主从复制,Redis的 ...
java锁原理_Java锁原理学习
Java锁原理学习为了学习Java锁的原理,参照ReentrantLock实现了自己的可重入锁,代码如下: 先上AQS的相关方法: // AQS = AbstractQueuedSynchroniz ...
MOOC人工智能原理学习笔记1
人工智能原理学习笔记1 The Foundations of AI: Philosophy Mathematics Economics Neuroscience Psychology Computer ...
热修复原理学习（1）热修复技术介绍
今天开始学习热修复的原理知识,学习方向是阿里团队编写的<深入探索Android热修复技术原理>,所以研究的热修复框架是Sophix. 之前对热修复的知识做过了解,具体是这一篇:热修复原理学 ...
自控原理学习笔记-反馈控制系统的动态模型（4）-频率特性函数Nyquist图及Bode图
自控原理学习笔记自控原理学习笔记专栏文章目录 1.频率特性函数 1.1 图形表示方法: 1.2 零极点位置和暂态增益图 1.2.1 复轨迹曲线 1.2.3 例子 1.3 计算系统响应 2.开环频率 ...
自控原理学习笔记-系统稳定性分析（2）-环路分析及Nyquist-Bode判据
自控原理学习笔记自控原理学习笔记专栏文章目录 3. 环路分析 3.1环路分析基本思想: 3.2 稳定程度的性能指标(相对稳定) 3.3 环路整形 4.Nyquist判据 4.1 与幅角原理关系 4 ...

Boosting原理学习

Boosting原理学习相关推荐

最新文章

热门文章