机器学习中目标函数、损失函数、代价函数之间的区别和联系
举个例子解释一下:(图片来自Andrew Ng Machine Learning公开课视频)
上面三个图的函数依次为 , , 。我们是想用这三个函数分别来拟合Price,Price的真实值记为 。我们给定 ,这三个函数都会输出一个 ,这个输出的 与真实值 可能是相同的,也可能是不同的,为了表示我们拟合的好坏,我们就用一个函数来度量拟合的程度,比如:
,这个函数就称为损失函数(loss function),或者叫代价函数(cost function)。损失函数越小,就代表模型拟合的越好。
那是不是我们的目标就只是让loss function越小越好呢?还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望,这是由于我们输入输出的 遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集, 关于训练集的平均损失称作经验风险(empirical risk),即 ,所以我们的目标就是最小化 ,称为经验风险最小化。
到这里完了吗?还没有。如果到这一步就完了的话,那我们看上面的图,那肯定是最右面的 的经验风险函数最小了,因为它对历史的数据拟合的最好嘛。但是我们从图上来看 肯定不是最好的,因为它过度学习历史数据,导致它在真正预测时效果会很不好,这种情况称为过拟合(over-fitting)。为什么会造成这种结果?大白话说就是它的函数太复杂了,都有四次方了,这就引出了下面的概念,我们不仅要让经验风险最小化,还要让结构风险最小化。这个时候就定义了一个函数 ,这个函数专门用来度量模型的复杂度,在机器学习中也叫正则化(regularization)。常用的有 , 范数。
到这一步我们就可以说我们最终的优化函数是: ,即最优化经验风险和结构风险,而这个函数就被称为目标函数。
结合上面的例子来分析:最左面的 结构风险最小(模型结构最简单),但是经验风险最大(对历史数据拟合的最差);最右面的 经验风险最小(对历史数据拟合的最好),但是结构风险最大(模型结构最复杂);而 达到了二者的良好平衡,最适合用来预测未知数据集。
转载于:https://www.cnblogs.com/llfctt/p/9491885.html
机器学习中目标函数、损失函数、代价函数之间的区别和联系相关推荐
- 机器学习中分类与聚类的本质区别
机器学习中分类与聚类的本质区别 机器学习中有两类的大问题,一个是分类,一个是聚类. 在我们的生活中,我们常常没有过多的去区分这两个概念,觉得聚类就是分类,分类也差不多就是聚类,下面,我们就具体来研究下 ...
- 机器学习中的损失函数
机器学习中的损失函数 目录(?)[-] 一log对数损失函数逻辑回归 二平方损失函数最小二乘法 Ordinary Least Squares 三指数损失函数Adaboost 四Hinge损失函数SVM ...
- 机器学习中的损失函数 (着重比较:hinge loss vs softmax loss)
https://blog.csdn.net/u010976453/article/details/78488279 1. 损失函数 损失函数(Loss function)是用来估量你模型的预测值 f( ...
- 机器学习中的Bias,Error,Variance的区别
机器学习中的Bias,Error,Variance的区别 @(Machine Learning) 名词解释 Error | 误差 Bias | 偏差 – 衡量准确性 Variance | 方差 – 衡 ...
- python观察日志(part20)--列表中加号,extend,append之间的区别
学习笔记,仅供参考,有错必纠 列表中"+"加号,extend,append之间的区别 extend extend函数用于在列表末尾一次性追加另一个序列中的多个值. append a ...
- python __import__和import区别_Python中import 与__import__() 之间的区别比较
本篇文章给大家带来的内容是关于Python中import 与__import__() 之间的区别比较,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 首先来说一下两者的区别: impo ...
- sql server序列_SQL Server中身份和序列之间的区别
sql server序列 In SQL Server, both the SEQUENCE object and IDENTITY property are used to generate a se ...
- Oracle中用户和架构之间的区别?
本文翻译自:Difference between a user and a schema in Oracle? Oracle中的用户和架构有什么区别? #1楼 参考:https://stackoom. ...
- C#中Int64和UInt64之间的区别
Int64:此 Struct用于表示64位带符号整数.所述的Int64 可以两种类型的值,包括所述范围之间的负的和正的存储-9,223,372,036,854,775,808至9,223,372,03 ...
- -ms-flexbox_Flexbox中width和flex-basis之间的区别
-ms-flexbox by Kyle Gallagher 凯尔·加拉格尔(Kyle Gallagher) Flexbox中width和flex-basis之间的区别 (The difference ...
最新文章
- BugkuCTF-MISC题闪的好快
- OpenCV学习(22) opencv中使用kmeans算法
- 快去换电池!苹果召回6.3万台MacBook Pro 有你的吗?
- servlet,listener,filter,interceptor的关系
- pmp第六版一到三章笔记
- 软件工程毕业设计要求
- WIN10家庭版+ANSYS/AUTODYN安装学习
- 20款优秀的数据可视化工具 (建议收藏)
- 星起航:抖音小店如何提升店铺复购率
- 常见问题:try {}里有一个return语句,那么紧跟在这个try后的finally {}里的code会不会被执行,什么时候执行?
- Netty框架之Selector轮询器
- 手动在电脑桌面制作关机/重启图标并添加到任务栏
- 于 HTML5 WebGL 的民航客机飞行监控系统
- 编写游戏开始界面与结束提示(含素材视频教程)
- gitee网站中项目的评论爬取(selenium)
- python井字棋最大最小算法_python井字棋算法及代码
- Linux 挂载外加磁盘
- (转)Windows7轻松备份--“Windows7一键恢复”简明教程
- 亿万富翁Jim Breyer将ETH从其投资组合剔除
- 数组模板类MyVector
热门文章
- 使用pydub实现训练声音数据集加噪
- Python 报错解决:AttributeError: 'module' object has no attribute 'SSL_ST_INIT'
- java实现将String的数字提取出来
- exp导oracle数据库,使用exp/imp 在oracle数据库间导数据
- Docker创建Gitea(git服务)
- 简单html图片轮播_web前端入门到实战:简单的图片轮播
- oracle如何给表上锁,【ORACLE】Oracle中发生表加锁、死锁的原因,查看,与解决方法...
- java 苹果vcf解析_VCF文件格式解析
- 超详细的 Redis Cluster 官方集群搭建指南,适用于 redis 5.x, 6.x
- Spring Cloud Alibaba 系统保护 - 限流与熔断:Sentinel 在项目中的最佳实践