损失函数（误差函数）

概念：损失函数是再单个训练样本中定义的，该样本中可以有多个特征参数。

作用：可以用来衡量算法的运行情况，通过定义损失函数L来衡量预测值的输出y^~\hat{y}~ y^ 和真实值y~y~ y 之间的接近程度，其值越小越好。

线性回归损失函数

L(θ)=m⋅log⁡⋅12πσ−1σ2⋅12(y−θx)2L(\theta)=m\cdot\log\cdot \frac{1}{\sqrt{2\pi}\sigma}~-~\frac{1}{\sigma^2}\cdot\frac{1}{2} (y-\theta x)^2 L(θ)=m⋅log⋅2πσ1 − σ21⋅21(y−θx)2

由于m⋅log⁡⋅12πσ~m\cdot\log\cdot \frac{1}{\sqrt{2\pi}\sigma}~ m⋅log⋅2πσ1 恒大于0，因此损失函数化简为：

L(θ)=12(θx−y)2L(\theta)=\frac{1}{2}(\theta x-y)^2 L(θ)=21(θx−y)2

逻辑回归损失函数

L(hθ(x),y)=−(ylog⁡hθ(x)+(1−y)log⁡(1−hθ(x)))L(h_\theta(x),y)=-(y\log h_\theta(x)+(1-y)\log (1-h_\theta(x))) L(hθ(x),y)=−(yloghθ(x)+(1−y)log(1−hθ(x)))

成本函数

概念：成本函数是在全体训练样本上定义的，是基于参数(θ,b)(\theta,b)(θ,b)的总成本，可以理解为是所有损失函数总和的平均值，其值越小越好，它可以找出最合适的参数θ和b~\theta和b~ θ和b 。

线性回归成本函数

J(θ)=12M∑i=1n(θTxi−yi)2J(\theta)=\frac{1}{2M}\sum_{i=1}^n (\theta^Tx^i-y^i)^2 J(θ)=2M1i=1∑n(θTxi−yi)2

逻辑回归成本函数

J(θ)=−1M∑i=1n(yilog⁡hθ(xi)+(1−yi)log⁡(1−hθ(xi)))J(\theta)=-\frac{1}{M}\sum_{i=1}^n (y^i\log h_\theta(x^i)+(1-y^i)\log (1-h_\theta(x^i))) J(θ)=−M1i=1∑n(yiloghθ(xi)+(1−yi)log(1−hθ(xi)))

损失函数和成本函数之间的关系

一组样本可以得到一个L(θ)L(\theta)L(θ)损失函数，全体样本可以得到J(θ)J(\theta)J(θ)成本函数，由此可知所有的L(θ)L(\theta)L(θ)累加后的平均值就是J(θ)J(\theta)J(θ)，即
J(θ)=1M∑i=1n⋅L(θ)J(\theta)=\frac{1}{M}\sum_{i=1}^n\cdot L(\theta) J(θ)=M1i=1∑n⋅L(θ)
也可得到求偏导公式：
δδθJ(θ)=1M∑i=1nδδθL(θ)\frac{\delta}{\delta\theta}J(\theta)=\frac{1}{M}\sum_{i=1}^n \frac{\delta}{\delta\theta} L(\theta) δθδJ(θ)=M1i=1∑nδθδL(θ)

损失函数和成本函数详解相关推荐

Softmax函数详解与推导
原文:https://www.cnblogs.com/zongfa/p/8971213.html Softmax函数详解与推导一.softmax函数 softmax用于多分类过程中,它将多个神经元的 ...
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
1.损失函数损失函数,又叫目标函数,是编译一个神经网络模型必须的两个要素之一.另一个必不可少的要素是优化器. 损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选 ...
C语言网络编程：accept函数详解
文章目录前言函数描述代码实例如何得到客户端的IP 和端口号前言当使用tcp服务器使用socket创建通信文件描述符,bind绑定了文件描述符,服务器ip和端口号,listen将服务器端的 ...
【FFmpeg】函数详解（三）
FFmpeg函数详解 14.av_write_frame 15.av_interleaved_write_frame 16.av_write_trailer 17.avio_close 18.av_i ...
【FFmpeg】函数详解（二）
FFmpeg函数详解 9.av_dump_format 10.avio_open 11.avformat_write_header 12.avcodec_send_frame 13.avcodec_r ...
【FFmpeg】函数详解（一）
FFmpeg函数详解一.错误码相关 1.AVERROR 2.av_strerror 3.其他错误码解释二.编解码 1.获取编解码器 2.申请.释放上下文环境 3.打开编码器avcodec_open ...
损失函数代价函数成本函数目标函数的区别
损失函数&代价函数&成本函数&目标函数的区别参考1:机器学习中的目标函数.损失函数.代价函数有什么区别? link: https://www.jianshu.com/p/dd ...
【ES6】Generator函数详解
[ES6]Generator函数详解一.Generator函数简介基本概念函数写法 yield关键字介绍二.next方法的参数三.for...of循环四.关于普通throw()与Gener ...
mysql的聚合函数综合案例_MySQL常用聚合函数详解
一.AVG AVG(col) 返回指定列的平均值二.COUNT COUNT(col) 返回指定列中非NULL值的个数三.MIN/MAX MIN(col):返回指定列的最小值 MAX(col):返回 ...

损失函数和成本函数详解

损失函数（误差函数）

线性回归损失函数

由于m⋅log⁡⋅12πσ~m\cdot\log\cdot \frac{1}{\sqrt{2\pi}\sigma}~ m⋅log⋅2πσ1 恒大于0，因此损失函数化简为：

逻辑回归损失函数

成本函数

线性回归成本函数

逻辑回归成本函数

损失函数和成本函数之间的关系

损失函数和成本函数详解相关推荐

最新文章

热门文章

损失函数和成本函数详解

损失函数（误差函数）

线性回归损失函数

由于m⋅log⁡⋅12πσ~m\cdot\log\cdot \frac{1}{\sqrt{2\pi}\sigma}~ m⋅log⋅2π​σ1​ 恒大于0，因此损失函数化简为：

逻辑回归损失函数

成本函数

线性回归成本函数

逻辑回归成本函数

损失函数和成本函数之间的关系

损失函数和成本函数详解相关推荐

最新文章

热门文章

由于m⋅log⁡⋅12πσ~m\cdot\log\cdot \frac{1}{\sqrt{2\pi}\sigma}~ m⋅log⋅2πσ1 恒大于0，因此损失函数化简为：