Torch的参数初始化

1.不需要初始化

调用nn.Linear()等封装好的模块，不需要初始化

    def __init__(self, embed_size, heads, adj, dropout, forward_expansion):super(STransformer, self).__init__()# Spatial Embeddingself.adj = adjself.D_S = nn.Parameter(adj)self.embed_liner = nn.Linear(adj.shape[0], embed_size)self.attention = SSelfAttention(embed_size, heads)self.norm1 = nn.LayerNorm(embed_size)self.norm2 = nn.LayerNorm(embed_size)self.feed_forward = nn.Sequential(nn.Linear(embed_size, forward_expansion * embed_size),nn.ReLU(),nn.Linear(forward_expansion * embed_size, embed_size),)# 调用GCN# input：embed_size；  hidden： embed_size*2；  outpt：embed_sizeself.gcn = GCN(embed_size, embed_size*2, embed_size, dropout)  self.norm_adj = nn.InstanceNorm2d(1)    # 对邻接矩阵归一化self.dropout = nn.Dropout(dropout)self.fs = nn.Linear(embed_size, embed_size)self.fg = nn.Linear(embed_size, embed_size)

2.需要初始化

只有自己定义的参数，例如weight与bias才需要自定义初始化。一般在__init__层里，调用self.reset_parameters()来实现。

def __init__(self, in_features,out_features,bias=True):self.weight = Parameter(torch.FloatTensor(in_features, out_features))if bias:self.bias = Parameter(torch.FloatTensor(out_features))else:self.register_parameter('bias', None)self.reset_parameters()

在self.reset_parameters()函数里，使用两种方法
- 第一种：nn.init.xavier_uniform_(x, gain=nn.init.calculate_gain(‘relu’))。其中， gain 参数来自定义初始化的标准差来匹配特定的激活函数：

    def reset_parameters(self, reset_mode='glorot_uniform'):nn.init.xavier_uniform_(self.bases, gain=nn.init.calculate_gain('relu'))nn.init.xavier_uniform_(self.comps, gain=nn.init.calculate_gain('relu'))nn.init.xavier_uniform_(self.weights, gain=nn.init.calculate_gain('relu'))if self.bias is not None:torch.nn.init.zeros_(self.bias)

-第二种：变量.data.uniform_(-stdv, stdv)

    def reset_parameters(self):stdv = 1. / math.sqrt(self.weight.size(1))self.weight.data.uniform_(-stdv, stdv)if self.bias is not None:self.bias.data.uniform_(-stdv, stdv)

补充：
raise ValueError(“Fan in and fan out can not be computed for tensor with fewer than 2 dimensions”)

        # nn.init.xavier_uniform_(self.bv)   #  raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")self.bv.data.fill_(0)

Torch的参数初始化相关推荐

Pytorch 学习（6）：Pytorch中的torch.nn Convolution Layers 卷积层参数初始化
Pytorch 学习(6):Pytorch中的torch.nn Convolution Layers 卷积层参数初始化 class Conv1d(_ConvNd):......def __init ...
Pytorch基础知识整理（六）参数初始化
参数初始化的目的是限定网络权重参数的初始分布,试图让权重参数更接近参数空间的最优解,从而加速训练.pytorch中网络默认初始化参数为随机均匀分布,设定额外的参数初始化并非总能加速训练. 1,模板在 ...
PyTorch模型读写、参数初始化、Finetune
使用了一段时间PyTorch,感觉爱不释手(0-0),听说现在已经有C++接口.在应用过程中不可避免需要使用Finetune/参数初始化/模型加载等. 模型保存/加载 1.所有模型参数训练过程中,有 ...
pytorch中的参数初始化方法
参数初始化(Weight Initialization) PyTorch 中参数的默认初始化在各个层的 reset_parameters() 方法中.例如:nn.Linear 和 nn.Conv2D, ...
PyTorch学习：参数初始化
Sequential 模型的参数初始化 import numpy as np import torch from torch import nn# 定义一个 Sequential 模型 net1 = ...
pytorch tensor 初始化_Pytorch - nn.init 参数初始化方法
Pytorch 的参数初始化 - 给定非线性函数的推荐增益值(gain value):nonlinearity 非线性函数gain 增益 Linear / Identity1 Conv{1,2,3}D ...
网络优化（三）——参数初始化
文章目录 1. 基于固定方差的参数初始化 2. 基于方差缩放的参数初始化 2.1 Xavier 初始化 2.2 Kaiming初始化 3. 正交初始化神经网络的参数学习是一个非凸优化问题．当使用梯度 ...
深度学习参数初始化（二）Kaiming初始化含代码
目录一.介绍二.基础知识三.Kaiming初始化的假设条件四.Kaiming初始化的简单的公式推导 1.前向传播 2.反向传播五.Pytorch实现深度学习参数初始化系列: (一)Xavi ...
PyTorch参数初始化和Finetune
前言这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结,也是我在写代码中用的算是"最佳实践"吧.最后希望大家没事多逛逛论坛,有很多高质量的回答. ...

Torch的参数初始化

1.不需要初始化

2.需要初始化

Torch的参数初始化相关推荐

最新文章

热门文章