神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~

之前的博客介绍过自己对于正则化的理解，经过这段时间的进一步接触，尤其是看了一些关于这一方面的paper，做了一些简短的实验，发现正则化真是一个很给力的建模方法。近期，看到了Laplacian Smoothing，相信很多童鞋遇到过这两个单词，但是，论文中关于这点的介绍往往都很“随意”，甚至出现了很多雷同，这里谈谈我对“拉普拉斯平滑”的一些理解。

首先，说说为什么要“平滑”，换句话说，平滑究竟有什么用。

平滑的目的也是正则化的目的之一，它是针对参数w而言，本质上就是要使得w的变化不要那么剧烈，有如下数学模型（假设最小化J）：

左侧是一个典型的线性回归模型，(xi，yi)就是实际的观测值，w就是估计的参数，右侧就是一个正则化项。可以直观的感受到，正则化项实际上起到了限制参数w的“变化程度或变化幅值”的作用，具体来说，它可以令w的任何一个分量相比较于剩余分量变化程度保持一致，不至于出现变化特别明显的分量。直接的作用就是防止模型“过拟合”，提高了模型的泛化性能。关于这一点，具体请见http://blog.csdn.net/wsj998689aa/article/details/39547771

其次，知道了平滑，就开始说说拉普拉斯平滑到底是怎么一回事。这里分为两点介绍，先介绍定义，再介绍如何应用。

定义：假设f是定义在d维子空间中的一个实函数，该子空间上的拉普拉斯算子和拉普拉斯代价函数分别为：

数学上的定义一般是让人看不懂的，大家都喜欢听例子，我们现在想象一副图像，这幅图像如果含有噪声，或者色彩变化剧烈，就说明其不够平滑，那个算子就好比一个“小刷子”，不仅可以刷去“小黑点（噪声的一种）“，也可以模糊图像。而下面的代价函数就好比用这个”小刷子“去刷一整副图像，使得整幅图像变得平滑了。

然后，当d=2（图像就是2维的）的时候，并且积分号变成和号的时候（连续变为离散），就是拉普拉斯平滑在图像上的应用。

这种”小刷子“有很多种，下面就是一个比较经典的：

这种算子就是第二个公式的离散近似（具体名称：修正的Neuman），起到的作用就是二阶差分。一阶差分就是相邻元素xi，xi+1相减得到的值yi，二阶差分就是yi - yi+1，可以在纸上推推这个矩阵乘以一个向量。值得一提的是，二阶差分其实就起到了平滑（模糊）图像的作用，想通了有木有？

最后，聊聊拉普拉斯平滑在正则化上的应用，这个时候，它的名字往往就叫做”拉普拉斯惩罚“。惩罚的是谁？显然是参数w了！

说说背景，机器学习中，大部分算法直接将图像（假设为M*N）按行或者列拉成向量，这样肯定会损失结构化信息，结构化信息是啥？很好理解，一个像素本来和它周围8个像素都有关系，你直接给拉成向量了，那么这种关系就直接被你给毁掉了，这就叫空间结构信息。这种信息属于先验信息，NFL定理说的很清楚：能够尽可能利用先验信息的学习算法才是好算法。看来，空间结构信息的破坏，会降低算法的”品味“。别担心，拉普拉斯惩罚帮助你找回品味。

扯多了，回到正题，一幅图像拉成向量x（M*N维），如果我们要通过拉普拉斯惩罚，补偿x上失去的结构信息。很简单，如下式：

那个乘法是Kronecke积，相当于将乘号右边的每个元素替换成为左边矩阵数乘对应元素，如果A是一个 m x n 的矩阵，而B是一个 p x q 的矩阵，克罗内克积则是一个 mp x nq 的矩阵。

上述公式实际上起到的效果是，求一个矩阵中每个元素的水平方向和垂直方向的二阶差分之和，这个矩阵在这里可以被看错参数w的矩阵形式（按列reshape）。

进一步，如果我们对一个线性回归模型加上拉普拉斯惩罚，模型就会变为如下形式：

拉普拉斯惩罚使得模型更加平滑，比简单的2范数（岭回归）要好，因为它考虑了空间结构信息。常被用于PCA，LDA，LPP，NPE等子空间学习算法的改造上面，一般会使算法性能得到提升。

给出一篇参考文献，里面介绍的比较深刻，喜欢看英文的朋友可以仔细的看看《Learning a Spatially Smooth Subspace for Face Recognition》这篇文章。

作者：迷雾forest
来源：CSDN
原文：https://blog.csdn.net/wsj998689aa/article/details/40303561
版权声明：本文为博主原创文章，转载请附上博文链接！

神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~相关推荐

java 拉普拉斯_opencv3_java 图形图像的拉普拉斯平滑Laplacian Laplacian
图形图像的拉普拉斯平滑Laplacian Laplacian package opencv_java_demo; import org.opencv.core.*; import org.opencv ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
平滑处理--拉普拉斯（Laplace Smoothing）
拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比较常用的平滑方法.平滑方法的存在时为了解决零概率问题. 背景:为什么要做平滑处理? 零概率问题,就是在计算实例的概率 ...
朴素贝叶斯拉普拉斯平滑（Laplace Smoothing）
转自:https://blog.csdn.net/qq_25073545/article/details/78621019 拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比 ...
转载：全局拉普拉斯平滑之（1）Strucutre extraction from texture via relative total variation及稀疏矩阵求解...
全局拉普拉斯平滑之(1)Strucutre extraction from texture via relative total variation及稀疏矩阵求解 2018年01月31日 22:04: ...
关于机器学习中的朴素贝叶斯以及拉普拉斯平滑
看过我博文的同学可能知道机器学习之中,存在着判别学习以及生成学习,其主要区别我在另一篇文章中有详细描述,今天我们要讨论的是,在高斯判别分析之中,特征向量x是连续的,实数域上的向量,那么如果这个特征向量 ...
斯坦福CS229机器学习笔记-Lecture5 - 生成学习算法+高斯判别GDA+朴素贝叶斯+拉普拉斯平滑
作者:teeyohuang 邮箱:teeyohuang@163.com 本文系原创,供交流学习使用,转载请注明出处,谢谢声明:此系列博文根据斯坦福CS229课程,吴恩达主讲所写,为本人自学笔记,写 ...
斯坦福第五章：拉普拉斯平滑处理
链接:http://blog.csdn.net/daijiguo/article/details/52222683 拉普拉斯平滑拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑 ...
【简单理解】自然语言处理-平滑方法(Smoothing)
[简单理解]自然语言处理-平滑方法(Smoothing) 简单介绍平滑策略平滑策略的引入,主要使为了解决语言模型计算过程中出现的零概率问题.零概率问题又会对语言模型中N-gram模型的Perplex ...

神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~

给出一篇参考文献，里面介绍的比较深刻，喜欢看英文的朋友可以仔细的看看《Learning a Spatially Smooth Subspace for Face Recognition》这篇文章。

神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~相关推荐

最新文章

热门文章