PyTorch学习—17.正则化之weight

文章目录

一、正则化与偏差-方差分解
二、pytorch中的L2正则项—weight decay（权值衰减）
三、Dropout概念
四、dropout抑制过拟合的工作原理
五、dropout内部是怎么实现只让部分信号通过并不更新其余部分
六、Dropout的注意事项
七、PyTorch中的Dropout网络层
- 1.PyTorch中Dropout的实现细节

一、正则化与偏差-方差分解

正则化方法是机器学习（深度学习）中重要的方法，它目的在于减小方差。下面借助周志华老师西瓜书中的对于方差、偏差的定义来进行理解。
泛化误差可分解为：偏差、方差与噪声之和。

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界

正则化方法就是减小方差的策略。常见的过拟合就会导致高方差，因此，人们常用正则化降低方差来解决过拟合。
正则化有L1正则化与L2正则化，通常就是损失函数加上正则项。

PyTorch学习—17.正则化之weight_decay与dropout相关推荐
1. pytorch学习笔记（十三）：Dropout
  文章目录 1. 方法 2. 从零开始实现 2.1 定义模型参数 2.2 定义模型 2.3 训练和测试模型 3. 简洁实现小结除了前一节介绍的权重衰减以外,深度学习模型常常使用丢弃法(dropout ...
2. PyTorch学习笔记（三）：PyTorch主要组成模块
  往期学习资料推荐: 1.Pytorch实战笔记_GoAI的博客-CSDN博客 2.Pytorch入门教程_GoAI的博客-CSDN博客本系列目录: PyTorch学习笔记(一):PyTorch环境安 ...
3. 【Pytorch学习笔记2】Pytorch的主要组成模块
  个人笔记,仅用于个人学习与总结感谢DataWhale开源组织提供的优秀的开源Pytorch学习文档:原文档链接本文目录 1. Pytorch的主要组成模块 1.1 完成深度学习的必要部分 1.2 ...
4. Pytorch学习记录-torchtext和Pytorch的实例（使用神经网络训练Seq2Seq代码）
  Pytorch学习记录-torchtext和Pytorch的实例1 0. PyTorch Seq2Seq项目介绍 1. 使用神经网络训练Seq2Seq 1.1 简介,对论文中公式的解读 1.2 数据预 ...
5. pytorch 学习： STGCN
  1 main.ipynb 1.1 导入库 import random import torch import numpy as np import pandas as pd from sklearn. ...
6. PyTorch学习笔记（四）：PyTorch基础实战
  PyTorch实战:以FashionMNIST时装分类为例: 往期学习资料推荐: 1.Pytorch实战笔记_GoAI的博客-CSDN博客 2.Pytorch入门教程_GoAI的博客-CSDN博客本 ...
7. Pytorch | 学习笔记（二）
  注:本系列博客在于汇总帖,类似自用笔记,方便复习回顾,博文中的引用都注明出处,点赞收藏原博主一.加载数据和tensorboard 1.加载数据:Dataset和DataLoader 2.tensor ...
8. PyTorch学习笔记2：nn.Module、优化器、模型的保存和加载、TensorBoard
  文章目录一.nn.Module 1.1 nn.Module的调用 1.2 线性回归的实现二.损失函数三.优化器 3.1.1 SGD优化器 3.1.2 Adagrad优化器 3.2 分层学习率 3 ...
9. pytorch学习笔记十二：优化器
  前言机器学习中的五个步骤:数据 --> 模型 --> 损失函数 --> 优化器 --> 迭代训练,通过前向传播,得到模型的输出和真实标签之间的差异,也就是损失函数,有了损失函 ...
10. PyTorch学习笔记（13）--现有网络模型的使用及修改
  PyTorch学习笔记(13)–现有网络模型的使用及修改本博文是PyTorch的学习笔记,第13次内容记录,主要介绍如何使用现有的神经网络模型,如何修改现有的网络模型. 目录 PyTorch ...
最新文章
热门文章

PyTorch学习—17.正则化之weight_decay与dropout

文章目录

一、正则化与偏差-方差分解

PyTorch学习—17.正则化之weight_decay与dropout相关推荐

最新文章

热门文章