【深度学习】L1、L2损失和 L1、L2正则化

损失函数：

L1损失：

n个样本的平均绝对误差（MAE）：

$MAE=\frac{1}{n}\sum_{i=1}^n {|y_i-\hat{y_i}|}$

即，真实值 $y_i$ 和预测值 $\hat{y_i}$ 之间的差值的绝对值的和。

使用L1损失函数，就是最小化MAE。

L2损失：

n个样本的均方误差（MSE）：

$MSE=\frac{1}{n}\sum_{i=1}^n {{(y_i-\hat{y_i})}^2}$

即，真实值 $y_i$ 和预测值 $\hat{y_i}$ 之间的差值的平方的和。

使用L2损失函数，就是最小化MSE。

正则化：

L1正则化：即对权重矩阵的每个元素绝对值求和:

$\lambda*||W||$

L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和）:

$\frac{1}{2}*\lambda*{||W||}^2$

注意：正则化项不需要求平均数，因为权重矩阵和样本数量无关，只是为了限制权重规模。

【深度学习】L1、L2损失和 L1、L2正则化相关推荐

Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化 Neural Netw ...
深度学习入门笔记（十）：正则化
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
L1、L2损失和 L1、L2正则化
损失函数: L1损失:即平均绝对误差(MAE):MAE = 1/n*∑ | yi - yi^ | L2损失:即均方误差(MSE):MSE = 1/n*∑ (yi - yi^ )^2 正则化: L1正 ...
深度学习：loss损失不下降
这两周写代码遇到了一些问题,在训练深度学习模型时,出现损失不下降的问题.不同的state-of-art模型已经尝试很多种,损失一直维持在0.02-0.04:以下loss下降方法排除 model 影响. ...
Stanford CS230深度学习（三）调参、正则化和优化算法
lecture3中主要讲了如何构建一个ML/DL任务,主要包括:选择问题.获得数据.设计模型.训练模型.测试模型.部署以及维护.然后coursera中的课程主要讲实际的应用例如调参.正则化等,以及几个 ...
吴恩达深度学习笔记-超参数调试、Batch正则化(第6课)
超参数调试一.调试处理二.为超参数选择合适的范围三.超参数训练的实践:Pandas VS Caviar 四.正则化网络的激活函数五.将Batch Norm拟合进神经网络六.Batch Nor ...
深度学习（二十四）——L2 Normalization, Attention（1）
L2 Normalization L2 Normalization本身并不复杂,然而多数资料都只提到1维的L2 Normalization的计算公式: x=[x1,x2,-,xd]y=[y1,y2,- ...
深度学习关于NLLLoss损失的数学向个人详解
一.起因与目的写这篇文章的起因,就是网络上查了很多NLLLoss(Negative Log-Likelihood Loss,负对数似然损失)相关的详解,但是要么没有讲透,要么就是只讲了如何应用.而我 ...
吴恩达深度学习L2W1——神经网络权重初始化方法、正则化
文章目录神经网络的初始化初始化数据模型搭建简单函数零初始化--initialize_parameters_zeros 随机初始化--initialize_parameters_random ...

【深度学习】L1、L2损失和 L1、L2正则化

【深度学习】L1、L2损失和 L1、L2正则化相关推荐

最新文章

热门文章

【深度学习】L1、L2损失 和 L1、L2正则化

【深度学习】L1、L2损失 和 L1、L2正则化相关推荐

最新文章

热门文章

【深度学习】L1、L2损失和 L1、L2正则化

【深度学习】L1、L2损失和 L1、L2正则化相关推荐