神经网络-损失函数和成本函数

每一篇神经网络算法入门可能会介绍神经网络的结构，以及值与值之间如何传递的，递归公式等。今天，我们在已学习神经网络基础知识的前提下，学习一下成本函数。

神经网络算法的逻辑递归函数：

$\\\tilde{y}=\sigma (w^{T}x+b) \\\sigma (z)=\frac{1}{1+e^{-z}}$

我们的最终目的是为了 $\tilde{y}$ 竟可能的接近 $y$ 。

损失函数：

神经网络中的“学习”是指从训练数据中自动获取最有权重参数的过程。学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重函数。

损失函数是前向传播的终点，反向传播的起点。损失函数将预测的输出值与实际的输出值进行运算，得出的结果越小，训练模型越好。

这是其中一种损失函数：

$L(\tilde{y},y)=-(ylog(\tilde{y})+(1-y)log(1-\tilde{y}))$

成本函数：

针对一个样本我们用损失函数，对于m个样本，我们用成本函数：

$\\ J(w,b)= -\frac{1}{m} \sum_{i=1}^{m}L(\tilde{y}^{(i)},y^{(i)}) \\ J(w,b)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(\tilde{y}^{(i)}) +(1-y^{(i)})log(1-\tilde{y}^{(i)})]$

损失函数的参数是 $y$ 和 $\tilde{y}$ ，成本函数的参数是 $w$ 和 $b$ 。

成本函数的目标是：求解 $w$ 和 $b$ 使得全局的成本 $J(w,b)$ 最小。

神经网络-损失函数和成本函数相关推荐

损失函数代价函数成本函数目标函数的区别
损失函数&代价函数&成本函数&目标函数的区别参考1:机器学习中的目标函数.损失函数.代价函数有什么区别? link: https://www.jianshu.com/p/dd ...
Logistic回归模型及损失函数和成本函数
Logistic回归模型.损失函数和成本函数 logistic模型损失函数成本函数梯度下降法 logistic模型 logistic模型: y^=σ(wTx+b)\hat{y} = σ(w^Tx ...
损失函数和成本函数详解
损失函数(误差函数) 概念:损失函数是再单个训练样本中定义的,该样本中可以有多个特征参数. 作用:可以用来衡量算法的运行情况,通过定义损失函数L来衡量预测值的输出y^~\hat{y}~ y^ 和真实 ...
机器学习之——“损失函数”与“成本函数”的辨析
机器学习之--"损失函数"与"成本函数"的辨析损失函数与成本函数都表示预测结果与真实情况的偏差. 损失函数:是针对单个样本, 成本函数:针对整个数据集成本函 ...
深度学习之损失函数、成本函数、目标函数的基本概念
损失函数(Loss function)是定义在单个训练样本上的,是真实值和预测值的非负值函数.也就是算一个样本的误差. 代价函数(Cost function)是定义在整个训练集上面的,也就是所有样本的 ...
假设函数、损失函数、成本函数
基本概念假设函数:假设函数用 hθ 表示,并且使用我们选择的模型.对于一个输入数据 x(i),模型预测输出为 hθ(x(i)) 损失函数:用 L 表示. 将对应于真实数据 y 的预测值 z(hθ) ...
吴恩达深度学习笔记-损失函数和成本函数
关于损失函数成本函数代价函数
损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度的一类函数,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好在数 ...
损失函数/成本函数/目标函数的区别
https://mp.weixin.qq.com/s/nkfQnXIwDNPtcZEVQyTvZw 导读在我刚开始学机器学习的时候也是闹不懂这三者的区别,当然,嘿嘿,初学者的你们是不是也有那么一丢丢 ...

神经网络-损失函数和成本函数

神经网络-损失函数和成本函数相关推荐

最新文章

热门文章