机器学习常见损失函数，二元交叉熵，类别交叉熵，MSE，稀疏类别交叉熵
一 损失函数介绍
损失函数用于描述模型预测值与真实值的差距大小。一般有有两种常见的算法——均值平方差（MSE）和交叉熵。下面来分别介绍每个算法的具体内容。
1 均值平方差
均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值，主要用于回归问题。
公式如下：主要是对每一个真实值与预期值相减的平方取平均值
均方误差的值越小，表明模型越好，拟合程度也越好，泛化性能也较好。
类似的损失算法还有均方根误差RMSE（将MSE开平方）：
平均绝对值误差MAD（对一个真实值与预测值相减的绝对值取平均值）
2 交叉熵
交叉熵（crossentropy）也是loss算法的一种，一般用在分类问题上，表达意思为预测输入样本属于哪一类的概率。其表达式如下，其中y代表真实值分类（0或1）需要进行ont-hot表示，a代表预测值。
二分类情况下的公式：
交叉熵也是值越小，代表预测结果越准。多类别交叉熵和二分类类似，只是计算的公式变化了而已，稀疏类别交叉熵也和以上类似，只不过稀疏类别交叉熵不需要把标签y进行ont-hot表示，但是需要进行顺序表示，eg： y 取值为0 1 2 3 4 要从0开始进行标号。
3 损失算法的选取
损失函数的选取取决于输入标签数据的类型：
如果输入的实数、无界的值，损失函数使用平方差。
如果输入标签是位矢量（分类标志），使用交叉熵会更适合。
二 损失函数举例
下面是3个训练样本经过使用softmax作为激活函数的神经网络的输出(computed)、真实结果(targets)以及是否预测正确的对比表格。
下面是另外一个网络的训练结果
1 交叉熵计算（三分类交叉熵）
第一个样本的交叉熵为：
−(0∗ln0.3+0∗ln0.3+1∗ln0.4)=−ln0.4
对于神经网络来说，交叉熵的计算有点古怪，因为只有一项会被保留下来。因此三个样本的平均交叉熵为：
−(ln0.4+ln0.4+ln0.1)/3=1.38
第二个网络的平均交叉熵为：
−(ln0.7+ln0.7+ln0.3)/3=0.64
2 均方误差(Root Mean Square Error, RMSE)
第一个网络：0.81
第二个网络：0.34
机器学习常见损失函数，二元交叉熵，类别交叉熵，MSE，稀疏类别交叉熵相关推荐
- AI理论知识基础（26）-机器学习常见损失函数， 共轭梯度法（2）
机器学习常见损失函数, 共轭梯度法(2)
- 机器学习常见损失函数
0-1损失函数: 预测值不等于真实值,为1,否则为0 对数损失函数(交叉熵): L(Y,P(Y|X))=−logP(Y|X) 平方损失函数 指数损失函数 L(Y|f(X))=exp[−yf(x)] H ...
- AI理论知识基础（25）-机器学习常见损失函数， 共轭梯度法（1）
- 机器学习经典损失函数复习：交叉熵（Cross Entropy）和KL散度
目录 1 交叉熵 2 KL散度 时间一长就忘记了,今天看见缩写CE,突然有点陌生,写个图文并茂的博客加深一下印象. 1 交叉熵 交叉熵,在机器学习中广泛用于衡量两个分布的相似度: 交叉熵一般跟在sof ...
- R语言构建xgboost模型：xgb.cv函数交叉验证确定模型的最优子树个数（可视化交叉验证对数损失函数与xgboost模型子树个数的关系）、交叉验证获取最优子树之后构建最优xgboost模型
R语言构建xgboost模型:xgb.cv函数交叉验证确定模型的最优子树个数(可视化交叉验证对数损失函数与xgboost模型子树个数的关系).交叉验证获取最优子树之后构建最优xgboost模型 目录
- 机器学习常见术语汇总
A 准确率(accuracy) 分类模型预测准确的比例.在多类别分类中,准确率定义如下: 在二分类中,准确率定义为: 激活函数(Activation function) 一种函数(例如 ReLU 或 ...
- 原创 | 常见损失函数和评价指标总结（附公式代码）
作者:董文辉 本文长度为4500字,建议阅读10+分钟 本文为你总结常见损失函数和评价指标. 目录 一.损失函数 1.1 回归问题 1.2 分类问题 二.评价指标 2.1 回归问题 2.2 分类问题 ...
- 原创 | 常见损失函数和评价指标总结（附代码）
作者:董文辉 本文长度为4500字,建议阅读10+分钟 本文为你总结常见损失函数和评价指标. 注:本文采用markdown进行编写,用markdown打开可得更佳展示效果- ## 1. 损失函数: # ...
- 常见损失函数和评价指标总结
作者:董文辉 本文长度为4500字,建议阅读10+分钟 本文为你总结常见损失函数和评价指标. 注:本文采用markdown进行编写,用markdown打开可得更佳展示效果- ## 1. 损失函数: # ...
最新文章
- CentOS（5.8/6.4）linux生产环境若干优化实战------就爱运维
- Java中使用Jedis连接Redis对SortedSet进行排序操作
- MVC4建立DBContext的EF6数据
- Android应用自动更新功能的代码实现
- vc设备工程师_4注册公用设备工程师专业基础考试真题.
- php中双引号的区别,PHP中单引号和双引号的区别
- Linux网络编程“惊群”问题总结
- 写给程序员的裁员防身指南
- 回放导出数据_王者荣耀本地视频怎么导出MP4格式视频文件？答案在这里
- 微信小程序 - 高级 - 深度实践 - wx:for-item 与 data-xxx 的联合应用 实现后台动态数据自动加载的正确方法概述
- VB 读取资源文件里面的字符串
- 关于code footprint-reduction-techniques
- php ajax设置cookie,在AJAX请求中设置Cookie？
- if控制条件——BMI
- 码云上不错的几个支付相关的项目
- 500台以上的大型网吧设计解决方案（转）
- 达沃时代的VNAS为NAS使用提供一种新可能
- 微型投影仪第三篇——磕磕绊绊
- 面向大规模数据的云端管理，百度沧海存储产品解析
- 基于matlab tcr fc 无功补偿,基于MATLAB的静止无功补偿器的仿真研究