密度估计理论（部分）
课程笔记：
1、密度估计
考虑任何随机数量 X 有概率密度函数 f, 我们用以下公式计算其概率密度:
假设我们有一组来自未知密度函数的观察到的数据点，我们的目标是从观测到的数据估计他们的估算密度函数。
有两种方法做密度估计：
- 参数化的方法，假设数据是服从一个已知的分布，如已知均值和方差的高斯分布；
- 非参数化的方法，如直方图密度估计和核密度估计。
## 直方图方法：
直方图方法是最早也是最广泛被使用的密度估计方法。
直方图就是将图片的像素分类，落在不同的bin中，h为带宽，直方图由以下公式定义：
直方图可以推广到，带宽可以变化：
以下是直方图密度估计的一个例子：
直方图存在许多缺点：
- 直方图只使用了像素级信息，没有使用像素之间的空间位置信息，所以在做一些归类和非参数决策问题时丢失了很多信息，没有充分使用数据；
- 直方图不是连续的，所以不能对它求梯度；
- 初始参数的选择可能在很大程度上影响效果；
- 无法用直方图表示二元或三元数据。
下图展示了不同的初始值选择对结果有很大影响
Naive Estimator（朴素估计量）
如果随机样本的密度函数f为：
因此，Naive Estimator可以写成以下形式：
我们用以下公式定义权重函数：
结合上述两个公式：
观察目前公式，我们可以将目前的估计看成将一个宽为2h高为(1/2nh)的盒子放在每次观测过程。当x恰好为一个bin的中心的时候，这个朴素量估计就变成了直方图估计。
Naive Estimator的缺点：
- 估计函数不是连续的，而且在xi±h的会有跳跃其他地方会有导数为0的点，如下图：
Kernel Estimator（核密度估计）
核密度估计是对naïve estimator的一般化（generalization），将先前的权重函数替换成K，K如下：
于是高斯估计可以写成以下形式：
h是带宽，他是平滑参数，K是一个核函数。
下面就是一个高斯核的例子。
带宽的选择对密度估计效果有很大的影响：
- 当h接近于0时，密度估计就像Dirac delta function的和；
- 当h很大时，密度估计模糊不清，区分不出密度块。
以下是三个例子
核密度估计的缺点：
- 因为窗口宽是固定的，所以在估计的末尾会出现假峰，也就是假的高密度中心；
- 如果使用平滑操作去除假峰，那某些真正的局部最高点可能会被平滑掉。
Nearest Neighbour Method（最近邻方法）
这是一种平滑局部密度的方法，平滑是被一个参数k控制的，一般的
定义d(x,y)表示两个点之间的距离，d1(t)≤d2(t) ≤… ≤ dn(t)，k近邻可以用一下函数来表示：
最近邻方法优点：
解决在平滑操作中主峰也被过度平滑的问题，因为真正的最高点周围的点多，假峰周围的点少，所以做局部自适应的平滑操作可以在不影响主分布的前提下消除噪声。
缺点：
- 这个方法得到的结果不是平滑的曲线，它的导数不连续；
- 如果需要整个密度的估计，则此估计是不合适的。
密度估计理论（部分）相关推荐
- 基于高斯核密度估计的背景建模和改进的五帧帧差法相融合的运动目标检测算法
上篇文章所指定的是对一个不包含动态背景的监控视频进行前景提取,用基于改进的五帧帧差和混合高斯模型相融合的前景提取算法是可以很好实现前景提取的.但本文中要求在包含动态背景的监控视频提取前景目标,虽然上篇 ...
- 基于MeanShift的目标跟踪算法及实现
from: http://blog.csdn.net/jinshengtao/article/details/30258833 一.简介 首先扯扯无参密度估计理论,无参密度估计也叫做非参数估计,属于数 ...
- 基于MeanShift的目标跟踪算法及实现（转载）
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/jinshengtao/article/details/30258833 这次将介绍基于MeanShi ...
- opencv 的norm_OpenCV视频分析-Meanshift、Camshiftamp;运动轨迹绘制
基于均值迁移的对象移动分析(Meanshift) ✏️ ⛳️ 概述 本质: ✔️ Mean Shift均值漂移算法是无参密度估计理论的一种,无参密度估计不需要事先知道对象的任何先验知识,完全依靠训练数 ...
- 运动目标跟踪（三）--搜索算法优化搜索方向之Meanshift
原文: http://blog.csdn.net/jinshengtao/article/details/30258833 这次将介绍基于MeanShift的目标跟踪算法,首先谈谈简介,然后给出算法实 ...
- opencv 图像上画出目标运动的轨迹_OpenCV视频分析-Meanshift、Camshift运动轨迹绘制...
基于均值迁移的对象移动分析(Meanshift) ✏️ ⛳️ 概述 本质: ✔️ Mean Shift均值漂移算法是无参密度估计理论的一种,无参密度估计不需要事先知道对象的任何先验知识,完全依靠训练数 ...
- 基于四分之一车体模型加速度的路面平整度检测及评价
1.内容简介 略 298-可以交流.咨询.答疑,公式编辑不好用,需要word的可以私聊 2.内容说明 基于加速度的路面平整度指标 功率谱密度估计理论频谱密度函数是频域中描述信号特征的方法之一,它反映了 ...
- 【笔记】使用Opencv中均值漂移meanShift跟踪移动目标
Mean Shift均值漂移算法是无参密度估计理论的一种,无参密度估计不需要事先知道对象的任何先验知识,完全依靠训练数据进行估计,并且可以用于任意形状的密度估计,在某一连续点处的密度函数值可由该点邻域 ...
- 贝叶斯决策理论和概率密度估计方法
贝叶斯决策理论和概率密度估计方法 这学期学习了<模式识别>这门课程,刚刚考完试,趁着考试复习的机会把模式识别的基础方法总结了一下了,这一篇的主要内容是转自Angel_Yuaner大神的博客 ...
最新文章
- 在ASP.NET应用程序中捕捉身份验证状态的变化
- Proguard returned with error code 1. See console
- 返回值带头信息 php_PHP注释标记的整理
- 2022，前端工具链十年盘点
- ACM 杰出会员姬水旺：量子化学和物理的深度学习
- 计算机二级python什么水平_计算机二级python好过吗 通过率是多少
- 《Windows核心编程》---Windows服务
- js时间与毫秒互相转换
- 基于Java+MyEclipse+Socket+GUI的网络通讯录（C#可以参考为WinForm通讯录结构大体类似）
- 程序员最爱字体_网页设计师最爱的十大字体
- ALTOVA XMLSpy 2013中文版下载教程及简单运用
- 程序设计基本结构———顺序、选择与循环
- linux 命令：yum 详解
- 统信UOS桌面操作系统安装教程
- 我的去 Google 化的安卓之旅
- 用Python做一个Mean Rerversion策略
- 云计算与大数据复习题
- Python实战案例01
- 基于NV040D-S8语音芯片在智能水杯/保温杯的方案设计
- JAVA企业面试题精选 数据库31-40