非参数估计---直方图法、Kn近邻估计法、Parzen窗法

当需要估计的概率密度函数的形式未知，比如我们并不能知道样本的分布形式时，我们就无法用最大似然估计方法或贝叶斯估计方法来进行参数估计，而应该用非参数估计方法。这里就介绍三种非参数估计方法。
需要知道的是，作为非参数方法的共同问题是对样本数量需求较大，只要样本数目足够大众可以保证收敛于任何复杂的位置密度，但是计算量和存储量都比较大。当样本数很少时，如果能够对密度函数有先验认识，则参数估计能取得更好的估计效果。

个人总结：

1、非参数估计的目的是求概率密度函数-----也可以转换理解为如何确定k值，因为确定k值后，根据下面的核心估计公式，确定（估计）概率密度。注：可以理解为，根据k值得确定方式不同，分出了上面三种估计方法。

核心估计公式为：

2、直方图和 Parzen窗是先确定区间，再看落入样本数（k值）

k近邻估计是先确定k值再动态调整（包含k个样本的）区间（区域）大小

3、

（1）在Parsen窗中

v=h^3

即h越大，分辨率越低（欠拟合），h越小，稳定性就低些（过拟合）。

这里指的都是估计的概率密度与真实概率密度之间的关系

（2）在k近邻中，k小，则模型复杂，容易过拟合，k大则模型相对简单，容易欠拟合。

附图：

其实最终结果，是比较估计的密度函数与实际密度函数两者的误差率

参考博客：

https://blog.csdn.net/angel_yuaner/article/details/47951111

https://blog.csdn.net/zengxiantao1994/article/details/73196312

https://blog.csdn.net/drrlalala/article/details/45533821

https://blog.csdn.net/yujianmin1990/article/details/47734049

https://blog.csdn.net/liyuefeilong/article/details/45274325

非参数估计---直方图法、Kn近邻估计法、Parzen窗法相关推荐

【MATLAB】Parzen窗与K近邻算法原理与代码详解
文章目录 1.非参数估计原理 2.Parzen窗 2.1.算法原理 2.2.Matlab实现与参数探究 3.K近邻 3.1.算法原理 3.2.Matlab实现与参数探究 1.非参数估计原理 \qqua ...
parzen窗估计如何进行结果分析_Parzen窗方法的分析和研讨
对 Parzen 窗 /PNN 算法的学习和研究报告姓名:吴潇学号: 1333755 1 . Parzen 窗方法综述.发展历史及现状模式识别领域的非参数估计方法大致可以分为两类.第一种类型是先 ...
parzen窗估计如何进行结果分析_实现一下模式识别（一）Parzen窗估计
自己计划实现一遍模式识别里的内容. Parzen窗估计是非参数估计.我在非参数技术--Parzen窗估计方法文章和非参数估计-Parzen窗口函数法文章里面整理出了算法基本过程:利用第一篇博客给出的样 ...
非参数估计-parzen窗估计和k近邻估计
许多数据挖掘模型(贝叶斯决策模型)是基于一假设条件的:数据的概率密度函数的参数形式已知,然后去估计其参数,并且有参数估计方法,最大似然估计和贝叶斯参数估计等.这一假设是带有相当大的局限性的,第一:假设 ...
非参数估计—Parzen窗与K-nearest-neighbor
在之前的学习中,我们总是假设概率密度函数的参数形式已知,并在此条件下处理有监督学习过程.而在现实世界中,我们给出的概率密度函数很少符合实际情况,本节我们讨论非参数化方法(non-parametric ...
parzen窗方法和k近邻方法估计概率密度
机器学习实验四,详情请参考<模式分类>第二版第四章课后上机练习4.3.4.4节实验环境: Matlab2016a Parzen窗估计方法: 已知测试样本数据x1,x2,-,xn,在不利用 ...
机器学习 —— 基础整理（三）生成式模型的非参数方法： Parzen窗估计、k近邻估计；k近邻分类器...
本文简述了以下内容: (一)生成式模型的非参数方法 (二)Parzen窗估计 (三)k近邻估计 (四)k近邻分类器(k-nearest neighbor,kNN) (一)非参数方法(Non-param ...
parzen窗估计如何进行结果分析_Parzen窗方法的分析和研究
1333755 第 1 页对 Parzen 窗 /PNN 算法的学习和研究报告姓名:吴潇学号: 1333755 1 . Parzen 窗方法综述.发展历史及现状模式识别领域的非参数估计方法大致 ...
parzen窗估计如何进行结果分析_基于参数Parzen窗估计的独立分量分析
基于参数 Parzen 窗估计的独立分量分析成孝刚 ; 姜华 ; 刘国庆 ; 陈启美 [期刊名称] <信号处理> [年 ( 卷 ), 期] 2009(025)003 [摘要] 在对盲源信 ...

非参数估计---直方图法、Kn近邻估计法、Parzen窗法

个人总结：

非参数估计---直方图法、Kn近邻估计法、Parzen窗法相关推荐

最新文章

热门文章