ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略

2024-04-03 07:32:44

ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略

目录

损失函数的简介

损失函数/代价函数/目标函数之间区别

损失函数的案例应用

损失函数的简介

损失函数，又称目标函数，或误差函数，用来度量网络实际输出与期望输出之间的不一致程度，指导网络的参数学习和表示学习。

0、损失函数特点

损失函数是一个非负实值函数。
针对不同的问题，会采用不同的损失函数
– 回归问题(连续型)：平方损失等
– 分类问题(离散型)：对数损失、交叉熵等
不同的损失函数会影响网络的训练速度和网络的泛化性能

1、损失函数-连续型输出

平方损失函数(Square Loss)

绝对值损失函数(Absolute Value Loss)

2、损失函数-离散型输出

交叉熵损失(Cross-Entropy Loss； Log Loss)，交叉熵损失：真实概率?? ; 模型预测概率??

熵：用于度量变量的不确定性程度
交叉熵：主要用于度量两个概率分布间的差异性信息

(1)、二分类问题的交叉熵损失函数：
对于样本（?, ?），?为样本， ?为对应的标签, 在二分类问题中，其取值的集合可能为{0，1}。假设某个样本的真实标签为?，该样本的? = 1的概率为?，则该样本的损失函数为：− (????(?) + 1 − ? log(1 − ?))。

2.1、交叉熵和Softmax在多分类问题的结合应用

ML之SR：Softmax回归(Softmax Regression)的简介、使用方法、案例应用之详细攻略

损失函数/代价函数/目标函数之间区别

损失函数

用来估计你模型的预测值与真实值Y的不一致程度，它是一个非负实数值函数。损失函数越小，模型的鲁棒性就越好。是定义在单个样本上的，算的是一个样本的误差。

(1)、均方误差：也叫平方损失，是回归任务中最常见的性能度量。我们把均方误差当做线性回归的损失函数。因此我们可试图让其最小化

代价函数

定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

目标函数

定义为最终需要优化的函数。等于结构风险Cost Function+正则化项。
正则化项：我们直接最小化经验风险很容易产生过拟合现象，所以一般需要在经验风险上加正则化项或损失，结构风险定义为

其中为模型的复杂度。模型越复杂，复杂度越大。复杂度表示了对复杂模型的惩罚。结构风险最小化，需要经验风险与模型复杂度同时最小。

损失函数的案例应用

后期更新……

ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略相关推荐

ML之ME/LF：机器学习中常见模型评估指标/损失函数(LiR损失、L1损失、L2损失、Logistic损失)求梯度/求导、案例应用之详细攻略
ML之ME/LF:机器学习中常见模型评估指标/损失函数(LiR损失.L1损失.L2损失.Logistic损失)求梯度/求导.案例应用之详细攻略目录常见损失函数求梯度案例 1.线性回归求梯度 2.L ...
ML之ME/LF：机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介、使用方法、案例应用之详细攻略
ML之ME/LF:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介.使用方法.案例应用之详细攻略目录 PSI(稳定度指标)的简介 1.如何计算PSI? (1).PSI计算过程
ML之ME/LF：机器学习之风控业务中常用模型监控指标CSI(特征稳定性指标)的简介、使用方法、案例应用之详细攻略
ML之ME/LF:机器学习之风控业务中常用模型监控指标CSI(特征稳定性指标)的简介.使用方法.案例应用之详细攻略目录 CSI(特征稳定性指标)的简介 1.如何计算CSI? 2.CSI值的意义 3. ...
ML之Validation：机器学习中模型验证方法的简介、代码实现、案例应用之详细攻略
ML之Validation:机器学习中模型验证方法的简介.代码实现.案例应用之详细攻略目录模型验证方法的简介 1.Hold-out验证 2.K-折交叉验证 3.自助重采样模型验证方法的代码实现 ...
ML之ME/LF：机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介、使用方法、代码实现、案例应用之详细攻略
ML之ME/LF:机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介.使用方法.代码实现.案例应用之详细攻略目录回归预测问题中评价指标简介 RMSE 标准差SD MSE函数
ML：机器学习模型提效之监督学习中概率校准的简介、案例应用之详细攻略
ML:机器学习模型提效之监督学习中概率校准的简介.案例应用之详细攻略目录监督学习中概率校准的简介监督学习中概率校准的概述监督
ML：机器学习算法中—因子模型(多变量)、时序模型/时间序列模型(主要以单变量)算法对比的简介、带有时序性的因子模型概述、案例应用之详细攻略
ML:机器学习算法中-因子模型(多变量).时序模型/时间序列模型(主要以单变量)算法对比的简介.带有时序性的因子模型概述.案例应用之详细攻略目录因子模型和时序模型/时间序列模型算法的简介 1.因子 ...
ML：机器学习模型可解释性之explainability和interpretability区别的简介、区别解读、案例理解之详细攻略
ML:机器学习模型可解释性之explainability和interpretability区别的简介.区别解读.案例理解之详细攻略目录机器学习模型可解释性之explainability和inter ...
ML与Optimality：最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略
ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介.常用方法.案例应用之详细攻略目录 ...

最新文章

热门文章