pytorch 指定层学习率

model = Net()
conv_params = list(map(id,model.conv1.parameters()))   #提出前两个卷积层存放参数的地址
conv_params += list(map(id,model.conv2.parameters()))
prelu_params = []
for m in model.modules():    #找到Prelu的参数if isinstance(m, nn.PReLU):prelu_params += m.parameters()#假象网络比我写的很大，还有一部分参数，这部分参数使用另一个学习率
rest_params = filter(lambda x:id(x) not in conv_params+list(map(id,prelu_params)),model.parameters())  #提出剩下的参数
print(list(rest_params))
'''
>> []   #是空的，因为我举的例子没其他参数了
'''
import torch.optim as optimoptimizer = optim.Adam([{'params':model.conv1.parameters(),'lr':0.2},{'params':model.conv2.parameters(),'lr':0.2},{'params':prelu_params,'lr':0.02},{'params':rest_params,'lr':0.3}])

pytorch 指定层学习率相关推荐

训练网络指定层pytorch实现方法
最近在研究Mask R-CNN,该网络一部分是跟Faster R-CNN(https://arxiv.org/pdf/1506.01497v3.pdf)相似的,同样的,在模型训练实现时,其中一种方法叫 ...
pytorch 动态调整学习率，学习率自动下降，根据loss下降
0 为什么引入学习率衰减? 我们都知道几乎所有的神经网络采取的是梯度下降法来对模型进行最优化,其中标准的权重更新公式: W+=α∗gradient W+=\alpha * \text { gradie ...
pytorch优化器学习率调整策略以及正确用法
优化器 optimzier优化器的作用:优化器就是需要根据网络反向传播的梯度信息来更新网络的参数,以起到降低loss函数计算值的作用. 从优化器的作用出发,要使得优化器能够起作用,需要主要两个东西: ...
Pytorch中的学习率调整方法
在梯度下降更新参数的时,我们往往需要定义一个学习率来控制参数更新的步幅大小,常用的学习率有0.01.0.001以及0.0001等,学习率越大则参数更新越大.一般来说,我们希望在训练初期学习率大一些,使 ...
pytorch框架自动调整学习率的几种方式
目录一.前言二.Pytorch中自动调整学习率的几种方式 2.1 ExponentialLR-指数衰减方式 2.2 ExponentialLR方式对网络训练的影响 2.3 MultiStep ...
详细理解pytorch的六种学习率
深度学习本身是一个不断优化,逼近真实映射函数的过程.而这个过程是需要优化器不断的迭代更新参数,不断降低损失值,这其中最基础也是关键的参数就是学习率.可以说用好学习率策略,准确率至少上升十几个点. 下面 ...
Pytorch 卷积层
Pytorch 卷积层 0. 环境介绍环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的动手学深度学习网站和视频讲解小技巧:当遇到函数看不懂的时候可以按 Shift+ ...
pytorch中调整学习率的lr_scheduler机制
pytorch中调整学习率的lr_scheduler机制 </h1><div class="clear"></div><div class ...
（pytorch-深度学习系列）pytorch卷积层与池化层输出的尺寸的计算公式详解
pytorch卷积层与池化层输出的尺寸的计算公式详解要设计卷积神经网络的结构,必须匹配层与层之间的输入与输出的尺寸,这就需要较好的计算输出尺寸先列出公式: 卷积后,池化后尺寸计算公式: (图像尺寸 ...

pytorch 指定层学习率

pytorch 指定层学习率相关推荐

最新文章

热门文章