torch.nn.parameter.Parameter

作用

a kind of Tensor that is to be considered a module parameter.

Parameter是一种可以作为模型参数的Tensor.

Parameters are Tensor subclasses, that have a very special property when used with Module S ----when they’re assigned as Module attributes they are automatically added to the list of its parameters, and will appear e.g. in parameters() iterator. Assigning a Tensor doesn’t have such effect.

Parameter是Tensor的子类，同时拥有一种非常特殊的性质：当他们与Module S一起使用时，也就是说当它们作为Module参数进行使用时，它们会自动添加到Module的参数列表中，并且出现在parameters()迭代器里。(这样就可以自动计算梯度等)

构造参数

data(Tensor)-- parameter tensor
requires_grad(bool, optional)-- if the parameter requires gradient. Default: True.

Example

定义一个网络Module如下：

class LayerNorm(nn.Module):def __init__(self, features, eps=1e-6):super(LayerNorm, self).__init__()self.a_2 = nn.Parameter(torch.ones(features))self.b_2 = nn.Parameter(torch.zeros(features))self.eps = epsdef forward(self, x):mean = x.mean(-1, keepdim=True)std = x.std(-1, keepdim=True)return self.a_2 * (x - mean) / (std + self.eps) + self.b_2

那么，我们试着构造一个LayerNorm，来观察其参数：

>>> layerNorm = LayerNorm(5)
>>> for a in layerNorm.parameters():print(a)
Parameter containing:
tensor([1., 1., 1., 1., 1.], requires_grad=True)
Parameter containing:
tensor([0., 0., 0., 0., 0.], requires_grad=True)

可以看到我们使用nn.Parameter进行构造的参数，自动传入了Module的参数列表。

torch.nn.parameter.Parameter分析相关推荐

PySOT代码之SiamRPN++分析——基础知识：hanning、outer、tile、contiguous、flatten、meshgrid、torch.nn.Parameter
基础知识扩充感谢大佬们的工作,许多内容都是直接拿来用的,原地址附在参考文献板块 np.hanning(M) 汉宁窗是通过使用加权余弦形成的锥形 M:整数,输出窗口中的点数.如果为零或更小,则返回一个 ...
PyTorch中的torch.nn.Parameter() 详解
PyTorch中的torch.nn.Parameter() 详解今天来聊一下PyTorch中的torch.nn.Parameter()这个函数,笔者第一次见的时候也是大概能理解函数的用途,但是具体实 ...
PyTorch里面的torch.nn.Parameter()
在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里, ...
Pytorch之深入理解torch.nn.Parameter()
先看一段代码: import torch import torch.nn as nn a=torch.tensor([1,2],dtype=torch.float32) print(a) print( ...
torch.nn.Parameter()
中心: 与torch.Tensor相比,torch.Tensor()只是生成一个张量, 而torch.nn.Parameter()可以将张量变为可以训练的参数,而不是一个不可变的张量, 用法: se ...
torch.nn.parameter详解
:-- 目录: 参考: 1.parameter基本解释: 2.参数requires_grad的深入理解: 2.1 Parameter级别的requires_grad 2.2Module级别的requi ...
[Pytorch系列-30]：神经网络基础 - torch.nn库五大基本功能：nn.Parameter、nn.Linear、nn.functioinal、nn.Module、nn.Sequentia
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
nn.Module、nn.Sequential和torch.nn.parameter学习笔记
nn.Module.nn.Sequential和torch.nn.parameter是利用pytorch构建神经网络最重要的三个函数.搞清他们的具体用法是学习pytorch的必经之路. 目录 nn.M ...
torch.nn.MaxPool1d各参数分析
torch.nn.MaxPool1d各参数小白文分析一.官方定义和参数解释 1.1 初步解释各个参数二.用代码测试各个参数的影响 2.1 kernel_size.stride和ceil_mode画 ...

torch.nn.parameter.Parameter分析

torch.nn.parameter.Parameter

作用

构造参数

Example

torch.nn.parameter.Parameter分析相关推荐

最新文章

热门文章