惩罚、补偿、正则化、约束的联系和区别

最近看几篇文章，文章上面在写反演目标函数的时候，有些是写的约束，有些是说补偿，有些又是正则化。说实话，之前是没怎么区分这几个东西的，感觉都是一样的，后来才真正的注意到这个事情。下面是来自百度百科的解释：

其实所有的惩罚、补偿还是正则化都是约束方法。如上所示，约束就是把值给限定在一定的范围内，在反演过程中，如果加在目标函数中的话，就会写成最下面的函数形式，这就是平常我们所说的加入惩罚、补偿、正则化的常规公式，只是针对所实现的目标不同，才分出了惩罚、补偿和正则化这三种形式。所谓惩罚就是让目标函数减小的行为，补偿呢就是对目标函数或者反演的参数所做出的补偿行为，正则化的提出主要是为了解的稳定性，与上述两种有明显的区别。约束呢是个名词，而后面三种是主要的行为方法。另外还有一个是预条件，根据现有知识对反演参数做出的处理，与上面三种又是很明显的区别，预条件是直接作用于反演参数上的，而上面另外三种是作用于目标函数，然后间接作用于参数中。

只是我个人理解，如果有错误或问题，请提出宝贵意见以方便修改，以免误导他人。。。

参考文献：

https://baike.baidu.com/item/惩罚函数/3851238?fr=aladdin

https://www.cnblogs.com/pinking/p/9310728.html

惩罚、补偿、正则化、约束的联系和区别相关推荐

最小二乘拟合，L1、L2正则化约束--转
原文地址:http://blog.csdn.net/u013164528/article/details/45042895 最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找 ...
神经网络中,正则化L1与L2的区别、如何选择以及代码验证
所谓的正则效果就是: 数学上具备修补项的某些特性. 讲人话,到底什么是正则化? 就是让我们本科时学过的拉格朗日法求极值得到的解集具有某些特征. L1:(拉普拉斯分布的指数项) 结果会比较稀疏(接近0, ...
创建unique时，约束和索引有何区别。唯一约束和唯一索引区别，选项忽略重复键作用
以下转自:http://bbs.csdn.NET/topics/190120355 创建唯一索引保证了往表中插入重复索引列值的操作都会失败.如果一个单独的sql语句试图往表中插入包含重复索引列值的数据 ...
SQL中的「规则」 constraint 与「约束」 rule 的区别。
前言,学校时学习的东西,好久都没有用到了. 今天看到了rule,第一眼还以为是约束了. -------------------------------------------------------- ...
mysql约束与索引的区别
一:约束作用:是为了保证数据的完整性而实现的一套机制,它具体的根据各个不同的数据库的实现而有不同的工具(约束): 这里主要讲解mysql的约束: 1.非空约束:not null; 指示某列不能存储 ...
在tensorflow框架下添加正则化约束l1、l2的方法
一.基础正则化函数 tf.contrib.layers.l1_regularizer(scale, scope=None) 返回一个用来执行L1正则化的函数,函数的签名是func(weights). ...
正则化的作用以及L1和L2正则化的区别
0 正则化的作用正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡. 常用的正则化方法有L1正则化和L2正则化.L1正则化和L2正则化可以看做是损失 ...
深度学习（2）基础2 -- 分类：得分函数损失函数(损失、正则化惩罚项、梯度下降、学习率)概率
目录一.得分函数 1.10分类 2.5分类二.损失函数 0.引言 1.损失函数(数据损失) 2.损失函数应用 3.损失函数(数据损失与正则化惩罚项) 1.数据损失 2.正则化惩罚项三.概率 1. ...
tikhonov正则化 matlab_4 L1和l2正则化详解（花书7.1 参数范数惩罚）
7.1 参数范数惩罚许多正则化方法通过对目标函数添加一个参数范数惩罚 ,限制模型(如神经网络.线性回归和逻辑回归)的学习能力.将正则化后的目标函数记为: 其中是权衡范数惩罚项和标准目标函数 ...

惩罚、补偿、正则化、约束的联系和区别

惩罚、补偿、正则化、约束的联系和区别相关推荐

最新文章

热门文章