高斯分布模型

我们已经知道，异常检测的核心就在于找到一个概率模型，帮助我们知道一个样本落入正常样本中的概率，从而帮助我们区分正常和异常样本。 高斯分布（Gaussian Distribution） 模型就是异常检测算法最常使用的概率分布模型。

定义

我们称 X∼N(μ,δ2)X∼N(μ,δ^2)X∼N(μ,δ2) 为： XXX 服从均值为 μμμ ，方差为 δ2δ^2δ2 的高斯分布（也称正态分布）。高斯分布的概率密度函数为：
f(x)=12πδe−(x−μ)22f(x)=\frac 1 {\sqrt{2\pi}δ}e^{-\frac{(x-μ)^2}{2}}f(x)=2πδ1e−2(x−μ)2

概率密度函数的图像为：

此时，概率模型可以描述为：
p(x;μ,δ2)=12πδe−(x−μ)22p(x;μ,δ^2)=\frac 1 {\sqrt{2\pi}δ}e^{-\frac{(x-μ)^2}{2}}p(x;μ,δ2)=2πδ1e−2(x−μ)2

参数

均值 μμμ 决定了高斯分布概率密度函数的对称轴位置，方差 δδδ 衡量了各样本与平均位置的差异，决定了概率密度函数的宽窄。 δ2δ^2δ2 越大，各个样本的差异越大（各个样本偏离均值位置很远），即样本取 μμμ 附近位置的概率越低，亦即，概率 P(μ−ϵ<x<μ+ϵ)P(μ−ϵ<x<μ+ϵ)P(μ−ϵ<x<μ+ϵ) 很小，此时，概率密度函数很宽。下图展示了几组不同参数取值下的高斯分布的概率密度函数：

参数估计

假定特征 xjx_jxj 分布如下：

我们发现，该分布中间稠密，越向两边越稀疏，我们就认为数据服从高斯分布，即：
xj∼N(μ,δ2)x_j∼N(μ,δ^2)xj∼N(μ,δ2)

但我们不知道该分布的 μjμ_jμj 和 δjδ_jδj 参数，但如果学过概率论，我们知道，可以根据这有限个样本进行参数估计：
μj=1m∑i=1mxj(i)μ_j=\frac 1m\sum_{i=1}^m x_j^{(i)}μj=m1i=1∑mxj(i)δj2=1m∑i=1m(xj(i)−μj)2δ_j^2=\frac 1m\sum_{i=1}^m (x_j^{(i)}-μ_j)^2δj2=m1i=1∑m(xj(i)−μj)2

这里对参数 μμμ 和参数 δ2δ^2δ2 的估计就是二者的极大似然估计。

假定我们有数据集：
x(1),x(2),⋯,x(m),x∈Rnx^{(1)},x^{(2)},⋯,x^{(m)},x∈\R^nx(1),x(2),⋯,x(m),x∈Rn

并且，各个特征服从于高斯分布：
xj∼N(μ,δ2)x_j∼N(μ,δ^2)xj∼N(μ,δ2)

我们完成了对于各个特征服从分布的参数估计后，可以得到：
p(x)=p(x1;μ1,δ12)p(x2;μ2,δ22)⋯p(xn;μn,δn2)p(x)=p(x_1;μ_1,δ^2_1)\ p(x_2;μ_2,δ^2_2)\ ⋯\ p(x_n;μ_n,δ^2_n)p(x)=p(x1;μ1,δ12) p(x2;μ2,δ22) ⋯ p(xn;μn,δn2)=∏j=1np(xj;μj,δj2)=∏_{j=1}^np(x_j;μ_j,δ^2_j)=j=1∏np(xj;μj,δj2)=∏j=1n12πδjexp(−(xj−μj)22δj2)=∏_{j=1}^n\frac 1 {\sqrt{2\pi}δ_j}exp{(-\frac{(x_j-μ_j)^2}{2δ_j^2}})=j=1∏n2πδj1exp(−2δj2(xj−μj)2)

8.2 高斯分布模型-机器学习笔记-斯坦福吴恩达教授相关推荐

8.6 多元高斯分布模型-机器学习笔记-斯坦福吴恩达教授
多元高斯分布模型引子在服务器运转监控的问题中,我们获得一个服务器样本 xxx ,并且,计算了 p(x1;μ1,δ12)及p(x2;μ2,δ22)p(x_1;μ_1,δ^2_1)\ 及\ p(x_2 ...
4.4 机器学习系统设计--垃圾邮件分类-机器学习笔记-斯坦福吴恩达教授
机器学习系统设计–垃圾邮件分类假定我们现有一封邮件,其内容如下: From: cheapsales@buystufffromme.com To: ang@cs.stanford.edu Subjec ...
8.7 程序示例--异常检测-机器学习笔记-斯坦福吴恩达教授
程序示例–异常检测异常检测模型提供了一般高斯分布模型和多元高斯分布模型.其中,多元高斯分布模型被限制到了同轴分布: # coding: utf8 # anomaly_detection/anoma ...
5.7 程序示例--基于 SMO 的 SVM 模型-机器学习笔记-斯坦福吴恩达教授
程序示例–基于 SMO 的 SVM 模型在这里,我们会实现一个基于 SMO 的 SVM 模型,在其中,提供了简化版 SMO 和完整版 SMO 的实现. 简化版 SMO:不使用启发式方法选择 (α( ...
3.12 程序示例--多分类问题-机器学习笔记-斯坦福吴恩达教授
多分类问题我们手上包含有手写字符的数据集,该数据集来自斯坦福机器学习的课后作业,每个字符图片大小为 20×20 ,总的样本规模为 5000×400 , 我们的神经网络设计如下,包含 1 个隐含层,隐 ...
10.1 掌握大数据-机器学习笔记-斯坦福吴恩达教授
掌握大数据在算法分析与优化一节中,我们就提到,在机器学习界流传着这样一句话: It's not who has the best algorithm that wins. It's who has ...
9.1 基于内容的推荐系统-机器学习笔记-斯坦福吴恩达教授
基于内容的推荐系统推荐系统是机器学习最重要的应用之一,你所知道的淘宝.亚马逊.facebook.豆瓣这些网站都把推荐系统作为了核心.在某个电影资讯的网站,有那么一份用户对于电影的打分(1 - 5 分 ...
8.1 概述-机器学习笔记-斯坦福吴恩达教授
概述异常检测(Anomaly Detection)是机器学习里面的一个常见应用,机器通过训练,将知道什么样的样本是正常样本,从而具备识别异常样本的能力. 飞机制造商在飞机引擎从生产线上流入市场前,会 ...
6.6 二分 K-Means 算法-机器学习笔记-斯坦福吴恩达教授
二分 K-Means 算法该算法补充自 <机器学习实战> 一书常规的 K-Means 算法的误差通常只能收敛到局部最小,在此,引入一种称为二分 K-Means(bisecting km ...

8.2 高斯分布模型-机器学习笔记-斯坦福吴恩达教授

高斯分布模型

定义

参数

参数估计

8.2 高斯分布模型-机器学习笔记-斯坦福吴恩达教授相关推荐

最新文章

热门文章