损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系
基本概念:
损失函数(Loss function):计算的是一个样本的误差。
损失函数是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的哦,用L表示
代价函数(Cost function):是整个训练集上所有样本误差的平均。
代价函数是定义在整个训练集上面的,也就是所有样本的误差的总和的平均,也就是损失函数的总和的平均,有没有这个平均其实不会影响最后的参数的求解结果。
目标函数:代价函数 + 正则化项
实际应用:
损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,举例说明:
上面三个图的曲线函数依次为f1(x),f2(x),f3(x),我们想用这三个函数分别来拟合真实值Y。
我们给定x,这三个函数都会输出一个f(X),这个输出的f(X)与真实值Y可能是相同的,也可能是不同的,为了表示我们拟合的好坏,我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function),或者叫代价函数(cost function)。
损失函数越小,就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢?还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望,这是由于我们输入输出的(X,Y)遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集,f(X)关于训练集的平均损失称作经验风险(empirical risk),所以我们的目标就是最小化经验风险。
到这里完了吗?还没有。
如果到这一步就完了的话,那我们看上面的图,那肯定是最右面的f3(x)的经验风险函数最小了,因为它对历史的数据拟合的最好嘛。但是我们从图上来看它肯定不是最好的,因为它过度学习历史数据,导致它在真正预测时效果会很不好,这种情况称为过拟合(over-fitting)。为什么会造成这种结果?大白话说就是它的函数太复杂了,都有四次方了,这就引出了下面的概念,我们不仅要让经验风险最小化,还要让结构风险最小化。
这个时候就定义了一个函数J(f),这个函数专门用来度量模型的复杂度,在机器学习中也叫正则化(regularization)。常用的有L1, L2范数。到这一步我们就可以说我们最终的优化函数是:
即最优化经验风险和结构风险,而这个函数就被称为目标函数
参考:
https://www.zhihu.com/question/52398145
https://www.zhihu.com/question/52398145/answer/209358209
https://blog.csdn.net/uestc_c2_403/article/details/77387780
损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系相关推荐
- 损失函数(loss)与成本函数(cost)的区别
- 损失函数代价函数成本函数目标函数的区别
损失函数&代价函数&成本函数&目标函数的区别 参考1:机器学习中的目标函数.损失函数.代价函数有什么区别? link: https://www.jianshu.com/p/dd ...
- 【吴恩达机器学习笔记】第2周 - python写代价函数/成本函数
吴恩达课程中,代码是用Octave写的,分为两个部分: 1.定义代价函数: % 定义代价函数 Jfunction J = costFunctionJ(X, y, theta) m = size(X, ...
- 成本函数/代价函数、损失函数、目标函数
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 目标函数:既可代指损失函数,又可代指代价函数/成本函数.有的地 ...
- 损失函数(Loss function) 和 代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
- smoothl1函数_Faster RCNN的损失函数(Loss Function)
Faster RCNN的损失函数(Loss Function)的形式如下: : Anchor[i]的预测分类概率: Anchor[i]是正样本时, :Anchor[i]是负样本时, ; 什么是正样本与 ...
- 两分钟快速理解成本函数(cost function)
对成本函数(cost function)的理解 成本函数是用以衡量假设函数h(x)准确性的工具. 直接上公式, 是不是有种熟悉感,最小二乘法,没错,对比理解一下就好了.该函数也被称为"平方误 ...
- 成本函数(Cost Function)
我们通过成本函数来衡量我们预测的准确性. 通过平均差的方式得到: 这个函数被称为"平方误差函数"或"均方误差". 下面的图就是成本函数: 转载于:https:/ ...
- 关于损失函数 成本函数 代价函数
损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度的一类函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好 在数 ...
最新文章
- Oracle中TO_DATE格式
- 安卓 spinner下拉框 做模糊查询_如何用一张图来做全年/去年的部门离职率动态对比...
- VMware Skyline
- php中include和require,在PHP中include和require到底有什么区别呢?
- 学习《apache源代码全景分析》之常用过滤器摘录
- asp.net 中 SESSION和COOKIE的使用
- Winform使用DevExpress的WaitDialogForm画面 z
- javascript的bind方法绑定深入理解
- 斗鱼弹幕服务器第三方接入协议v1.6.2,GitHub - yyc-dev/douyu-sdk: DouYu-SDK,一个基于斗鱼弹幕API封装的SDK...
- UML工具Visual Paradigm入门:业务流程建模 (BPM) 教程
- python如何读取文件数据恢复_如何找回丢失的文件数据
- UiPath Excel内容去重操作
- gain在matlab里什么意思,gain gray是什么意思
- 【AAAI2023】视觉辅助的常识知识获取Visually Grounded Commonsense Knowledge Acquisition 个人学习笔记
- tomcat8.5集群修改端口,发生临时 dns 错误,请尝试刷新页面
- 被字句15个_小学语文必考知识:15类句式转换解题方法与练习(附答案)
- 样本均值的抽样分布/置信区间
- SEM还是SEO,企业应该如何选择?看完即懂
- 孙陶然:战略目标一定要定得现实可执行
- 教您用数学课件制作工具演示线变二面角