如何理解统计学中「惩罚」的概念

作者：萧议

链接：https://www.zhihu.com/question/30037293/answer/46867665

来源：知乎

著作权归作者所有，转载请联系作者获得授权。

惩罚的核心目的是限制参数空间的大小以降低模型复杂度，惩罚本身反应你对对应的统计问题的某种先验知识（比如回归系数当中应该有很多0啊，回归系数不应该太大啊）

比如n维线性回归中的LASSO和一般的最小二乘回归Least square，前者的回归系数被限制在一个L1意义下的n维球内，而后者的参数空间则是R^n

再比如光滑样条Smooth Spline通过对二阶导数进行惩罚来控制拟合曲线的光滑程度

一些情况下，惩罚有独特的概率上的解释，比如假设正太噪声的线性模型中，LASSO的L1惩罚相当于给回归参数加上了一个Laplace prior，而岭回归Ridge regression中的L2惩罚则对应一般的normal prior

这样的方法在统计中一般叫正则化Regularization，当然也可以叫惩罚Penalization，正则化由Tikhonov在解ill-posed equation时引入，通过加上惩罚项（一般来说是hilbert space上的Lp norm）来限制解可以取值的范围以保证解的良好性质，比如唯一性。后来人们发现，很多问题如果你给他太大的空间，搜索出来的解即便存在唯一，往往也不够好(under some other criteria, like predictive MSE, AIC, BIC )

如何理解统计学中「惩罚」的概念相关推荐

线性代数：如何最通俗地理解矩阵的「秩」？
小时候老师总告诉我们「要有n个方程才能确定地解出n个未知数」--这句话其实是不严格的,如果你想确定地解出n个未知数,只有n个方程是不够的,这n方程还必须都是「干货」才行.从这个角度,初学者可以更好地理 ...
点线面的意义_聊聊「点线面」的概念
在阿里做业务,免不了经常会听到「点面线」之类的说辞,这篇短文就和大家聊一聊:我是怎么理解这一系列概念的含义,以及用这种「模式」去解构一些事物.「点线面」本身是用来表示空间维度的基础模型,那么通过这样的 ...
Java应用诊断工具】「BTrace」基本概念和原理的介绍（1）
Java应用诊断工具]「BTrace」基本概念和原理的介绍(1) 系列文章「BTrace」基本概念和初步介绍(1) 「BTrace」安装介绍和使用原理(2)- 未完成「BTrace」实战代码进行调 ...
在统计学中_统计学中的几个基本概念
(一)统计学中的几个基本概念 1.总体:根据研究目的确定的.同质的全部研究对象(严格地讲,是某项观察值的集合) 被称作总体.如研究2008年中国60岁以上的老人血清总胆固醇含量,测定值的全部构成了一个 ...
java堆与非堆的一些研究_堆和堆傻傻分不清？一文告诉你 Java 集合中「堆」的最佳打开方式...
什么是堆? 堆其实就是一种特殊的队列--优先队列. 普通的队列游戏规则很简单:就是先进先出:但这种优先队列搞特殊,不是按照进队列的时间顺序,而是按照每个元素的优先级来比拼,优先级高的在堆顶. 这也很容 ...
堆和堆傻傻分不清？一文告诉你 Java 集合中「堆」的最佳打开方式
上一篇的「Java 集合框架」里,还剩下一个大问题没有说的,那就是 PriorityQueue,优先队列,也就是堆,Heap. 什么是堆? 堆其实就是一种特殊的队列--优先队列. 普通的队列游戏规则 ...
JAVA数组首位末位互换_堆和堆傻傻分不清？一文告诉你 Java 集合中「堆」的最佳打开方式...
上一篇的「Java 集合框架」里,还剩下一个大问题没有说的,那就是 PriorityQueue,优先队列,也就是堆,Heap. 什么是堆? 堆其实就是一种特殊的队列--优先队列. 普通的队列游戏规则 ...
如何理解矩阵的「秩」？
本文作者@Heshawn,点击关注,转载需授权. 利益相关:知乎『线性代数』系列Live主讲人小时候老师总告诉我们「要有n个方程才能确定地解出n个未知数」--这句话其实是不严格的,如果你想确定地解 ...
如何在到处是“雷”的系统中「明哲保身」？这是第一招
来源:跨界架构师当我们工作所在的系统处于分布式系统初期的时候,往往这时候每个服务都只部署了一个节点. 那么在这样的背景下,如果某个服务A需要发布一个新版本,往往会对正在运行的其它依赖服务A的程序产生 ...

如何理解统计学中「惩罚」的概念

如何理解统计学中「惩罚」的概念相关推荐

最新文章

热门文章