拉普拉斯修正学习笔记

为什么要做平滑处理?
由于在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。
如，在文本分类的问题中，当一个词语没有在训练样本中出现，该词语属于各类的概率为0，使用连乘计算文本出现在各类的概率也均为0。这是不合理的，不能因为一个事件没有观察到就认定该事件被分类的概率是0。

为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。
假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

举例如下

假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：
1/1003 = 0.001，991/1003=0.988，11/1003=0.011
在实际的使用中也经常使用加 λ\lambdaλ（1≥λ\lambdaλ≥0）来代替简单加1。如果对N个计数都加上λ\lambdaλ，这时分母也要记得加上N*λ\lambdaλ。

个人理解：有的时候样本量巨大，如1*e¹⁵个，此时单纯的加1在精度不够的时候可能导致下溢，仍会造成0概率问题。或者是连乘多项导致下溢等。

含义

拉普拉斯修正的含义是，
在训练集中总共的分类数，用 N 表示；xix_ixi 属性可能的取值数用 NiN_iNi 表示，因此原来的先验概率 P( c )的计算公式由：

被拉普拉斯修正为：（N为总分类数）

类的条件概率P(x | c) 的计算公式由：

被拉普拉斯修正为：（di 属性可能的取值数用 Ni 表示）

拉普拉斯修正学习笔记相关推荐

傅里叶变换和拉普拉斯变换学习笔记
欧拉公式欧拉公式将三角函数和指数函数联系起来复指数函数代表一个旋转的圆,自变量是时间t,角频率代表旋转速度. 傅里叶变换(轻量版拉普拉斯变换) 定义 f(t)是t的函数,如果t满足狄里赫莱条件: ...
opencv学习笔记19：图像金字塔和图像拉普拉斯金字塔 (用于图像放大和缩小)
图像金字塔原理图像金字塔:只不同分辨率,不同尺寸子图构成的集合. 取样向下取样:有一个图像G0,对它重新采样,得到分辨率小些的G1,以此类推. 向上取样:有一个图像G3,然后变成像素更多的G2,以 ...
Building Worlds In Unreal 学习笔记——03-06 地形贴图/地形材质/修正重复/近景位移
Building Worlds In Unreal 学习笔记--03-06 地形贴图/地形材质/修正重复/近景位移 Lec03 地形贴图 Landscape Textures 1 Quixel Bri ...
《机器学习》周志华学习笔记
<机器学习>周志华学习笔记第一章绪论 1.1 引言机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
论文学习笔记: Learning Multi-Scale Photo Exposure Correction(含pytorch代码复现)
论文学习笔记: Learning Multi-Scale Photo Exposure Correction--含pytorch代码复现本章工作: 论文摘要训练数据集网络设计原理补充知识:拉普 ...
控制工程基础学习笔记-第4章控制系统的频率特性
Überblick 本章节中的有些函数图像可能来自互联网/侵删第4章控制系统的频率特性 4.1 频率特性的概念 4.1.1 基本术语和概念的说明 4.1.2 系统的频率特性的表现形式 4.1.3 ...
Python3《机器学习实战》学习笔记（五）：朴素贝叶斯实战篇之新浪新闻分类
转载请注明作者和出处:http://blog.csdn.net/c406495762 Github代码获取:https://github.com/Jack-Cherish/Machine-Learni ...
学习笔记-贝叶斯分类器及其python实现
朴素贝叶斯(NB) [学生党学习笔记,如有错误谢谢各位大佬指出] 所用书籍:<统计学习方法>-李航一.概述朴素贝叶斯模型首先基于特征条件独立假设,学习输入的联合概率分布:然后基于此 ...
python predictabel_Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜...
) p1Vect = np.log(p1Num/p1Denom) #取对数,防止下溢出 p0Vect = np.log(p0Num/p0Denom) return p0Vect,p1Vect,pAbu ...
《繁凡的深度学习笔记》前言、目录大纲一文让你完全弄懂深度学习所有基础（DL笔记整理系列）
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...

拉普拉斯修正学习笔记

拉普拉斯修正学习笔记相关推荐

最新文章

热门文章