Parzen Window Method

Parzen 窗主要思想就是直接利用样本来估计总体分布, 每一个样本对估计所起的作用依赖于它到x的距离.

先验概率P(ωk)P(\omega_{k})P(ωk) 就是训练样本中每个类别的占比
P(ωk)=nk∑i=1KniP\left(\omega_{k}\right)=\frac{n_{k}}{\sum_{i=1}^{K} n_{i}} P(ωk)=∑i=1Knink
条件概率P(x∣ωk)P\left(x \mid \omega_{k}\right)P(x∣ωk) 就是在类别ωk\omega_{k}ωk的条件下，出现样本x的概率
P(x∣ωk)=1nk∑xi∈ωk1hdϕ(x−xih)P\left(x \mid \omega_{k}\right)=\frac{1}{n_{k}} \sum_{x_{i} \in \omega_{k}} \frac{1}{h^{d}} \phi\left(\frac{x-x_{i}}{h}\right) P(x∣ωk)=nk1xi∈ωk∑hd1ϕ(hx−xi)

其中ϕ(u)\phi(u)ϕ(u) 是窗函数, 本次实验为正态窗函数
ϕ(u)=12πe−u22\phi(u)=\frac{1}{\sqrt{2 \pi}} e^{-\frac{u^{2}}{2}} ϕ(u)=2π1e−2u2

后验概率P(ωk∣x)P\left(\omega_{k} \mid x\right)P(ωk∣x) 也就是当我们知道样本xxx，计算这个样本属于某个类别的概率，概率最大的那个类别是则是判断的结果。
P(ωk∣x)∝P(ωk)P(x∣ωk)P\left(\omega_{k} \mid x\right) \propto P\left(\omega_{k}\right) P\left(x \mid \omega_{k}\right) P(ωk∣x)∝P(ωk)P(x∣ωk)
也就是说我们要分别计算每个测试样本属于鸢尾花类别0,1,20,1,20,1,2的后验概率, 选取最大的作为判断的结果

本次实验最主要的是计算条件概率, 直接将公式实现即可, 需要注意的是使用的是正态窗函数, 计算每个测试数据在某一类别下的条件概率时, 当前类别的训练样本对测试样本都是起作用的,其中ddd 是样本维数,鸢尾花样本即为4,hhh 是窗口大小

KNN Method

KNN的实现就比较简单了,计算测试样本与所有训练样本的欧氏距离, 取前KKK个最小距离的样本,统计训练样本的类别,最多的那个类别即是判断结果

本文仅供参考, 若有错误, 欢迎指出, 共同学习

本文首发于公众号: 小玉lab , 欢迎关注

Non-parametric Classifiers相关推荐

[论文阅读笔记]SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(ICCV)
SEMANTIC ADVERSARIAL ATTACKS: PARAMETRIC TRANSFORMATIONS THAT FOOL DEEP CLASSIFIERS(2019 ICCV) 文章简介: ...
OpenFace库(Tadas Baltrusaitis)中基于Haar Cascade Classifiers进行人脸检测的测试代码
Tadas Baltrusaitis的OpenFace是一个开源的面部行为分析工具,它的源码可以从 https://github.com/TadasBaltrusaitis/OpenFace 下载.O ...
QIIME 2用户文档. 13训练特征分类器Training feature classifiers(2019.7)
前情提要 NBT:QIIME 2可重复.交互和扩展的微生物组数据分析平台 1简介和安装Introduction&Install 2插件工作流程概述Workflow 3老司机上路指南Experi ...
QIIME 2教程. 13训练特征分类器Training feature classifiers(2020.11)
文章目录训练特征分类器下载并导入参考序列提取参考序列训练分类集测试分类集分类真菌ITS序列译者简介译者简介 Reference 猜你喜欢写在后面训练特征分类器 Training f ...
QIIME 2用户文档. 12训练特征分类器Training feature classifiers(2018.11)
文章目录前情提要训练特征分类器下载并导入参考序列提取参考序列训练分类集测试分类集分类真菌ITS序列 Reference 译者简介猜你喜欢写在后面前情提要 QIIME 2可重复.交互 ...
参数化模型（parametric model）和非参数化模型non-parametric model）的区别？哪些模型是参数化模型，哪些模型是非参数化模型？
参数化模型(parametric model)和非参数化模型non-parametric model)的区别?哪些模型是参数化模型,哪些模型是非参数化模型? 统计学习模型又可以分为参数化模型(para ...
creo 3.0计算机配置,Creo 3.0 Parametric 配置选项文件使用说明
最近安装了Creo Parametric 3.0 F000,其配置选项与Creo Parametric 2.0有部分更新,研究PTC Creo® 3.0 Parametric 配置选项configop ...
数字图像处理实验（13）：PROJECT 05-04，Parametric Wiener Filter
实验要求: Objective: To understand the high performance of the parametric Wiener Filter in image restora ...
文献学习(part80-B)--Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
学习笔记,仅供参考,有错必纠关键词:分类.UCI数据库.随机森林.支持向量机.神经网络.决策树.集成.基于规则的分类器.判别分析.贝叶斯分类器.广义线性模型.偏最小二乘和主成分回归.多重自适应回归样 ...
文献学习(part80-A)--Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
学习笔记,仅供参考,有错必纠关键词:分类.UCI数据库.随机森林.支持向量机.神经网络.决策树.集成.基于规则的分类器.判别分析.贝叶斯分类器.广义线性模型.偏最小二乘和主成分回归.多重自适应回归样 ...

Non-parametric Classifiers

Parzen Window Method

KNN Method

Non-parametric Classifiers相关推荐

最新文章

热门文章