PyTorch里面的torch.nn.Parameter()

在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里，于是在栈溢网看到了一篇解释，并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数，将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter，所以在参数优化的时候可以进行优化的)，所以经过类型转换这个self.v变成了模型的一部分，成为了模型中根据训练可以改动的参数了。使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。

出现这个函数的地方

在concat注意力机制中，权值V是不断学习的所以要是parameter类型，不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。
通过做下面的实验发现，linear里面的weight和bias就是parameter类型，且不能够使用tensor类型替换，还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。

做的实验

self.v被绑定到模型中了，所以可以在训练的时候优化

作者：VanJordan
链接：https://www.jianshu.com/p/d8b77cc02410
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

PyTorch里面的torch.nn.Parameter()相关推荐

PyTorch中的torch.nn.Parameter() 详解
PyTorch中的torch.nn.Parameter() 详解今天来聊一下PyTorch中的torch.nn.Parameter()这个函数,笔者第一次见的时候也是大概能理解函数的用途,但是具体实 ...
PySOT代码之SiamRPN++分析——基础知识：hanning、outer、tile、contiguous、flatten、meshgrid、torch.nn.Parameter
基础知识扩充感谢大佬们的工作,许多内容都是直接拿来用的,原地址附在参考文献板块 np.hanning(M) 汉宁窗是通过使用加权余弦形成的锥形 M:整数,输出窗口中的点数.如果为零或更小,则返回一个 ...
torch.nn.Parameter()
中心: 与torch.Tensor相比,torch.Tensor()只是生成一个张量, 而torch.nn.Parameter()可以将张量变为可以训练的参数,而不是一个不可变的张量, 用法: se ...
torch.nn.parameter.Parameter分析
torch.nn.parameter.Parameter 作用 a kind of Tensor that is to be considered a module parameter. Parame ...
torch.nn.parameter详解
:-- 目录: 参考: 1.parameter基本解释: 2.参数requires_grad的深入理解: 2.1 Parameter级别的requires_grad 2.2Module级别的requi ...
nn.Module、nn.Sequential和torch.nn.parameter学习笔记
nn.Module.nn.Sequential和torch.nn.parameter是利用pytorch构建神经网络最重要的三个函数.搞清他们的具体用法是学习pytorch的必经之路. 目录 nn.M ...
Pytorch 学习（6）：Pytorch中的torch.nn Convolution Layers 卷积层参数初始化
Pytorch 学习(6):Pytorch中的torch.nn Convolution Layers 卷积层参数初始化 class Conv1d(_ConvNd):......def __init ...
Pytorch之深入理解torch.nn.Parameter()
先看一段代码: import torch import torch.nn as nn a=torch.tensor([1,2],dtype=torch.float32) print(a) print( ...
pytorch中的torch.nn.LSTM解析
文章目录前言多层LSTM 权重形状 batch_first 输入形状输出形状参考前言本文记录一下使用LSTM的一些心得. 多层LSTM 多层LSTM是这样: 而不是这样: 我们可以控制如下 ...

PyTorch里面的torch.nn.Parameter()

PyTorch里面的torch.nn.Parameter()相关推荐

最新文章

热门文章