TensorFlow 损失函数

对于分类问题，我们一般用交叉熵来测算计算值与真实的差距。

交叉熵表现的是两个概率分布之间的差距。差距越大，交叉熵越大；差距越小，交叉熵越小。

这么说还是有点抽象。打个比方：

一个分类问题，正确答案是(1,0,0)。

一个预测模型经过softmax回归后给出的答案是

(0.5,0.4,0.4)

那么与真实值的交叉熵为：

H((1,0,0),(0.5,0.4,0.5))=-(1*log0.5+0*log0.4+0*log0.4)~0.3

另一个预测模型给出的答案是：

(0.8.0.1,0.1)

那么与真实值的交叉熵为：

H((1,0,0),(0.8,0.1,0.1))=-(1*log0.8+0*log0.1+0*log0.1)~0.1

我们可以直观的看出，第二个解比第一个解更接近真实值，而交叉熵也给出相应的答案。

TensorFlow中计算交叉熵的代码为：

cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))

通常，交叉熵与softmax回归一起使用，TensorFlow对这两个功能进行了统一的封装:

cross_entropy = tf.nn.softmax_cross_etnropy_withlogits(y,y_)

在只有一个正确答案的分类中TensorFlow提供了更加一个函数：

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))

对于回归问题，我们要做一个预测值，最后的结果要输出一个任意实数，整个神经网络只有一个输出点。

这种情况，我么计算损失函数是均方差。也就是真实值与预测值的方差平均数。代码如下：

mse = tf.reduce_mean(tf.square(y_- y))

转载于:https://www.cnblogs.com/guolaomao/p/8022447.html

TensorFlow 损失函数相关推荐

TensorFlow损失函数
TensorFlow损失函数正如前面所讨论的,在回归中定义了损失函数或目标函数,其目的是找到使损失最小化的系数.本文将介绍如何在 TensorFlow 中定义损失函数,并根据问题选择合适的损失函数. ...
TensorFlow损失函数（loss function） 2017-08-14 11:32 125人阅读评论(0) 收藏举报分类：深度学习及TensorFlow实现（10）版权声明：
TensorFlow损失函数(loss function) 2017-08-14 11:32 125人阅读评论(0) 收藏举报分类: 深度学习及TensorFlow实现(10) 版权声明:本 ...
tensorflow损失函数均方误差怎么计算
在 TensorFlow 中, 均方误差 (Mean Squared Error, MSE) 损失函数的计算方式为: import tensorflow as tf# 定义预测值和真实值 pred = ...
tensorflow sigmoid 如何计算训练数据的正确率_用于高级机器学习的自定义TensorFlow损失函数...
在本文中,我们将看看: 在高级机器学习(ML)应用程序中使用自定义损失函数定义自定义损失函数并集成到基本Tensorflow神经网络模型一个简单的知识蒸馏学习的例子介绍机器学习中预定义的损失函 ...
Tensorflow教程
前言 1.TensorFlow 是由 Google Brain 团队为深度神经网络(DNN)开发的功能强大的开源软件库: 2.TensorFlow 允许将深度神经网络的计算部署到任意数量的 CPU 或 ...
语义分割（Semantic Segmentation）方法
翻译来自:https://gist.github.com/khanhnamle1994/e2ff59ddca93c0205ac4e566d40b5e88 语义分割方面的资源:GitHub - mrgl ...
安卓和旧版本不兼容_旧方法和旧设备阻碍了数字革命
安卓和旧版本不兼容 Legacy technology - the established platforms, databases, and devices used in organization ...
tensorflow tf.keras.losses.MeanSquaredError 均方差损失函数示例
import tensorflow as tf import numpy as np 公式 error=1m∑i=1m(xi−yi)2error = \frac{1}{m}\sum_{i=1}^{m} ...
独家 | 使用TensorFlow 2创建自定义损失函数
作者:Arjun Sarkar 翻译:陈之炎校对:欧阳锦本文约1900字,建议阅读8分钟本文带你学习使用Python中的wrapper函数和OOP来编写自定义损失函数. 标签:TensorFlo ...

TensorFlow 损失函数

TensorFlow 损失函数相关推荐

最新文章

热门文章