交叉熵误差（cross entropy error)

熵真是一个神奇的东西，据说之所以把它命名为熵就是因为它难以理解

但是它确实是一个很有用的西东，光机器学习里面，就经常见到它的身影，决策树要用到它，神经网络和logistic回归也用到了它。

先说熵的定义：

熵定义为信息的期望，某个待分类事物可以划分为多个类别，其中类别 $x_{i}$ 的信息为( $p(x_{i})$ 为 $x_{i}$ 的概率)：

$l(x_{i})=-log_{2}p(x_{i})$

熵为所有类别的信息期望值：
$H=-\sum _{i=1}^{n}p(x_{i})log_{2}p(x_{i})$

交叉熵误差：

$E=-\sum _{i=1}^{n}t_{i}logy_{i}$

$t=(t_{1},t_{2},...,t_{n})$ 为实际的分类结果， $y={y_{1},y_{2},...,y_{n}}$ 为预测的结果，（ $0\leq y_{i}\leq 1$ 并且 $\sum _{i=1}^{n}y_{i}=1$ ）

这个函数被作为神经网络和logistic 回归的损失函数，因为它有三个很好的性质：

1. 它可以真实的反应出真实分类结果和预测结果的误差

假设 $t_{i}=1$ , 即真实的分类结果是 $t_i$ , 则交叉熵误差可以简化为：

$E=-logy_{i}$

函数图像如下：

可以看到， $y_{i}$ 越接近 $1$ ，即预测结果和真实分类结果越接近，误差越接近 $0$ ，即误差越小

2. 交叉熵误差函数和softmax（神经网络用到的输出函数）和sigmoid函数（logistic回归用到的函数）的复合函数是凸函数，即存在全局最优解

凸函数的充要条件是：如果二阶导数存在，二阶到大于 $0$ ，现在以softmax函数为例证明：

softmax函数定义：

$y_{i}=\frac{e^{x_{i}}}{\sum _{1}^{n}e^{x_k}}$

输入为 $x=(x_{1},x_{2},...x_{n})$ 输出为 $y=(y_{1},y_{2},...,y_{n})$

交叉熵误差函数：

$E=-\sum _{i=1}^{n}t_{i}logy_{i}$

两个复合函数对 $x_{i}$ 求一阶偏导：

$E^{'}_{x_{i}}=-\frac{t_{i}}{y_{i}}\times y'_{i}-\sum _{j \neq i } \frac{t_{j}}{y_{j}}\times y'_{j}$

所以：

$E^{'}_{x_i}=-t_i(1-y_i)+y_i\sum _{j \neq i }t_j=y_i-t_i$

$\sum t_i=1$

二阶导数：

$E''_{x_{i}}=(y_i-t_i)'=y_i(1-y_i)$

由于 $0< y_i< 1$ 上面的结果恒大于0，二阶导数恒大于0 所以它是凸函数

3. 在用梯度下降发求解最优解时，需要用到一阶导数，从上面可以看到一阶导数：

$E^{'}_{x_i}=y_i-t_i$

很简洁漂亮，可以简化整个求解过程

数学真的很神奇！

reference:

机器学习实战：peter harrington（美）

深度学习入门：基于python的理论与实现斋藤康毅（日）

交叉熵误差（cross entropy error)相关推荐

TensorFlow 实战（一）—— 交叉熵（cross entropy）的定义
对多分类问题(multi-class),通常使用 cross-entropy 作为 loss function.cross entropy 最早是信息论(information theory)中的概念 ...
【AI学习总结】均方误差（Mean Square Error,MSE）与交叉熵（Cross Entropy,CE）损失函数
出发点对于一个样本,有输入和输出结果,我们的目的是优化训练我们的模型,使得对于样本输入,模型的预测输出尽可能的接近真实输出结果.现在需要一个损失函数来评估预测输出与真实结果的差距. 均方误差回归问 ...
pytorch：交叉熵（cross entropy）
1.entropy entropy中文叫做熵,也叫不确定性,某种程度上也叫惊喜度(measure of surprise) = 如果p(x)采用0-1分部,那么entropy=1log1=0 而对于e ...
机器学习中使用的交叉熵（cross entropy）透彻分析
从字面分析交叉熵,1是交叉.2是熵(熵与信息量有关):首先交叉熵涉及信息论里面的东西,想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解. (1)信息量衡量信息量可以用大小或者多少来 ...
Pytorch 手工复现交叉熵损失(Cross Entropy Loss)
如果直接调包的话很简单,例子如下: import torch import torch.nn as nntorch.manual_seed(1234) ce_loss = nn.CrossEntrop ...
机器学习经典损失函数复习：交叉熵（Cross Entropy）和KL散度
目录 1 交叉熵 2 KL散度时间一长就忘记了,今天看见缩写CE,突然有点陌生,写个图文并茂的博客加深一下印象. 1 交叉熵交叉熵,在机器学习中广泛用于衡量两个分布的相似度: 交叉熵一般跟在sof ...
关于交叉熵（Cross Entropy）与Softmax
目录写在前面 KL散度交叉熵 Softmax 交叉熵与Softmax的关系交叉熵损失 Softmax的求导堆叠+向量化其他关于Softmax函数的问题赠品写在前面 Softmax.交叉熵 ...
机器学习入门（08）— 损失函数作用和分类（均方误差、交叉熵误差）
神经网络的学习中的"学习"是指从训练数据中自动获取最优权重参数的过程. 为了使神经网络能进行学习,将导入损失函数这一指标.而学习的目的就是以该损失函数为基准,找出能使它的值达到最小 ...
DL之SoftmaxWithLoss：SoftmaxWithLoss算法(Softmax+交叉熵误差)简介、使用方法、应用案例之详细攻略
DL之SoftmaxWithLoss:SoftmaxWithLoss算法(Softmax函数+交叉熵误差)简介.使用方法.应用案例之详细攻略目录 SoftmaxWithLoss算法简介 1.Soft ...

交叉熵误差（cross entropy error)

交叉熵误差（cross entropy error)相关推荐

最新文章

热门文章