参数初始化的目的是限定网络权重参数的初始分布，试图让权重参数更接近参数空间的最优解，从而加速训练。pytorch中网络默认初始化参数为随机均匀分布，设定额外的参数初始化并非总能加速训练。

1，模板

在训练开始对指定层的权重或偏置初始化：

def weight_init(m):if isinstance(m, (nn.Conv2d, nn.Linear)):nn.init.kaiming_normal_(m.weight)elif isinstance(m, nn.BatchNorm2d):m.weigth.data.fill_(1)m.bias.data.zero_()model.apply(weight_init)

2，pytorch自带的参数初始化方法

torch.nn.init.
uniform(tensor, a=0, b=1) 均匀分布，下限a，上限b
normal(tensor, mean=0, std=1)正态分布
constant(tensor, val)常数值
xavier_uniform(w, gain=math.sqrt(2.0))
xavier_normal(tensor, gain=1)
kaiming_uniform(tensor, a=0, mode=‘fan_in’)
kaiming_normal(tensor, a=0, mode=‘fan_in’)
orthogonal(tensor, gain=1)正交矩阵

Pytorch基础知识整理（六）参数初始化相关推荐

pytorch基础知识整理（五）优化器
深度学习网络必须通过优化器进行训练.在pytorch中相关代码位于torch.optim模块中. 1, 常规用法 optimizer = torch.optim.Adam(model.paramete ...
pytorch基础知识整理(一）自动求导机制
torch.autograd torch.autograd是pytorch最重要的组件,主要包括Variable类和Function类,Variable用来封装Tensor,是计算图上的节点,Func ...
pytorch基础知识整理(二）数据加载
pytorch数据加载组件位于torch.utils.data中. from torch.utils.data import DataLoader, Dataset, Sampler 1, torch ...
pytorch基础知识整理（四）模型
1,模型构造模板 torch.nn.Module()是所有网络模型的基类,所有网络都需要继承此类,模板如下: import torch.nn as nn import torch.nn.functio ...
pytorch基础知识整理（三）模型保存与加载
1, torch.save(); troch.load() torch.save()使用python的pickle模块把目标保存到磁盘,可以用来保存模型.张量.字典等,文件后缀名一般用pth或pt或p ...
centos7创建asm磁盘_Oracle ASM 磁盘组基础知识整理（收藏版）
为什么要写这么一篇基础知识呢?还是有那么一点点原因的,不是胡编乱造还真是有真实存在的事件的,前两周里因一套生产环境数据库磁盘不足无法对其进行表空间扩容,需要向存储岗申请存储资源,当存储岗划好资源加完存 ...
HTML5的基础知识整理
HTML5 概述:HTML5是HTML最新的修订版本,2014年10月由万维网联盟(W3C)完成标准制定. HTML5的设计目的是为了在移动设备上支持多媒体. 文章目录 HTML5 前言一.HTMl ...
python常用变量名_python基础知识整理
Python Python开发 Python语言 python基础知识整理序言:本文简单介绍python基础知识的一些重要知识点,用于总结复习,每个知识点的具体用法会在后面的博客中一一补充程序: 一 ...
前端基础知识整理汇总（上）
前端基础知识整理汇总(上) HTML页面的生命周期 HTML页面的生命周期有以下三个重要事件: 1.DOMContentLoaded -- 浏览器已经完全加载了 HTML,DOM 树已经构建完毕,但是 ...

Pytorch基础知识整理（六）参数初始化

1，模板

2，pytorch自带的参数初始化方法

Pytorch基础知识整理（六）参数初始化相关推荐

最新文章

热门文章