惩罚因子（penalty term）与损失函数（loss function）

penalty term 和 loss function 看起来很相似，但其实二者完全不同。

惩罚因子：

penalty term的作用是把受限优化问题转化为非受限优化问题。

比如我们要优化：

min f(x) = $x^2 - 10x$ x 受限于 g(x) = x -3 <= 0

我们可以利用惩罚因子，将上述问题转化为非受限约束问题，也就是拿掉g(x)的限制。

函数变为：

min P(x,s,r) = $x^2 - 10x + sr\phi(x - 3)$

其中s = +1 或-1, r 是控制变量，单调增或减， $\phi$是惩罚函数。

如果我们令 s = 1, r = 1, $\phi = x^2$,则：

min P(x,s,r) = $x^2 - 10x + (x-3)^2$

最终得到结果是错的，原因是r太小，如果我们将r = 100,最终就能得到对的结果。

也就是说，在迭代优化过程中，r是单调变量，如果优化结果不满足约束条件，那么可调节r的值，继续迭代，直至满足为止。

损失函数(loss function)：

损失函数是分类（或回归）过程中计算分类结果错误（损失）的函数。为了检验分类结果，只要使总损失函数最小即可。

以0,1分类为例：

如果我们把一个样本分类正确记为1，错误记为0，那么这就是最简单的0,1 loss function.

如果记$l(y) = max(0,1 - ty)$,其中 t为预期结果，y为实际结果，那这就是hinge loss.

其他常用的还有 logistic loss等。

选择合适的损失函数是分类问题的关键之一，对于分类问题最好的是hinge loss. [1]

参考：

[1] Rosasco, Lorenzo, et al. "Are loss functions all the same?." Neural Computation 16.5 (2004): 1063-1076.

[2] http://web.engr.oregonstate.edu/~paasch/classes/me517/week7/penalty.html

[3] https://en.wikipedia.org/wiki/Hinge_loss

转载于:https://www.cnblogs.com/zqiguoshang/p/6137841.html

惩罚因子（penalty term）与损失函数（loss function）相关推荐

损失函数(Loss function) 和代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
smoothl1函数_Faster RCNN的损失函数(Loss Function)
Faster RCNN的损失函数(Loss Function)的形式如下: : Anchor[i]的预测分类概率: Anchor[i]是正样本时, :Anchor[i]是负样本时, ; 什么是正样本与 ...
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
1.损失函数损失函数,又叫目标函数,是编译一个神经网络模型必须的两个要素之一.另一个必不可少的要素是优化器. 损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选 ...
损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系
基本概念: 损失函数(Loss function):计算的是一个样本的误差. 损失函数是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的 ...
神经网络常用损失函数Loss Function
深度学习神经网络常用损失函数损失函数--Loss Function 1. MSE--均方误差损失函数 2. CEE--交叉熵误差损失函数 3. mini-batch版交叉熵误差损失函数损失函数–L ...
损失函数(Loss Function) -1
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数 ...
经验 | 深度学习中常见的损失函数(loss function)总结
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:机器学习算法与自然语言处理出品单位 | 哈工大SCIR实 ...
机器学习模型中的损失函数loss function
1. 概述在机器学习算法中,有一个重要的概念就是损失函数(Loss Function).损失函数的作用就是度量模型的预测值f(x)f\left ( \mathbf{x} \right )f(x)与真 ...
交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
阅读大概需要7分钟跟随小博主,每天进步一丢丢机器学习算法与自然语言处理出品 @公众号原创专栏作者 yyHaker 单位 | 哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度, ...
损失函数Loss Function
简介损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的"风险"或"损失&q ...

惩罚因子（penalty term）与损失函数（loss function）

惩罚因子（penalty term）与损失函数（loss function）相关推荐

最新文章

热门文章