1.网络参数初始化

在pytorch中，有自己默认初始化参数方式，所以定义好网络以后，没有特殊需求，不需要显式进行初始化操作。也可调用内置特定初始化函数，详见：https://blog.csdn.net/VictoriaW/article/details/72872036

也可以自定义初始化方式，详见：https://blog.csdn.net/qq_36338754/article/details/97756378

类神经网络层 Vs 函数神经网络层：https://blog.csdn.net/victoriaw/article/details/72869680

2.查看当前可学习参数

函数查看现在的全部可训练参数，定义网络net之后查看.state_dict()属性

net.state_dict()

或者

net.named_parameters()

3.增加可学习的参数

在网络初始化函数中添加nn.Parameter类型变量，即可以实现：增加额外的可学习参数的操作。

self.coefficient = torch.nn.Parameter(torch.Tensor([1.55]))

参考资料：https://blog.csdn.net/qq_19672579/article/details/79195568

4.参数优化函数Adagrad

Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。更新公式：
wt+1=wt+ηgt∑i=0tgiw^{t+1}=w^t+\eta \frac{g^t}{\sqrt{\sum_{i=0}^tg^i}}wt+1=wt+η∑i=0tgigt

随着更新次数增加，更新越来越慢。
参考资料：https://www.jianshu.com/p/a8637d1bb3fc

5.直接修改网络梯度值

A.grad=num

num 为tensor 类型

6.optimizers.zero_grad()报错

Traceback (most recent call last):
File “/home/pp/.local/share/umake/ide/pycharm-professional/helpers/pydev/pydevd.py”, line 1758, in
main()
File “/home/pp/.local/share/umake/ide/pycharm-professional/helpers/pydev/pydevd.py”, line 1752, in main
globals = debugger.run(setup[‘file’], None, None, is_module)
File “/home/pp/.local/share/umake/ide/pycharm-professional/helpers/pydev/pydevd.py”, line 1147, in run
pydev_imports.execfile(file, globals, locals) # execute the script
File "/home/pp/.local/share/umake/ide/pycharm-professional/helpers/pydev/_pydev_imps/pydev_execfile.py", line 18, in execfile
exec(compile(contents+"\n", file, ‘exec’), glob, loc)
File “/home/pp/PycharmProjects/Stein-Variational-Gradient-Descent-master/python/cyy_bayesian_nn_1.py”, line 296, in
svgd = svgd_bayesnn(X_train, y_train, batch_size=batch_size, n_hidden=n_hidden, max_iter=max_iter)
File “/home/pp/PycharmProjects/Stein-Variational-Gradient-Descent-master/python/cyy_bayesian_nn_1.py”, line 127, in init
optimizer.zero_grad()
File “/home/pp/anaconda3/envs/py36_torch/lib/python3.6/site-packages/torch/optim/optimizer.py”, line 163, in zero_grad
p.grad.detach()
RuntimeError: Can’t detach views in-place. Use detach() instead

解决尝试：变换optimizer.zero_grad()的位置，没用,手动置0 吧.

A.grad.zero_()

参考资料：https://blog.csdn.net/a19990412/article/details/85247465

7.tensor.detach() 和 tensor.data 的区别

x .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分。
x.detach() 返回相同数据的 tensor ,且 requires_grad=False ,但能通过 in-place 操作报告给 autograd 在进行反向传播的时候。

参考资料：https://blog.csdn.net/DreamHome_S/article/details/85259533

Pytorch(7)-自己设计神经网络会遇到的问题相关推荐

【Pytorch】基于卷积神经网络实现的面部表情识别
作者:何翔学院:计算机学院学号:04191315 班级:软件1903 转载请标注本文链接: https://blog.csdn.net/HXBest/article/details/1219812 ...
PyTorch实现基于卷积神经网络的面部表情识别
基于卷积神经网络的面部表情识别(Pytorch实现)----台大李宏毅机器学习作业3(HW3) 一.项目说明给定数据集train.csv,要求使用卷积神经网络CNN,根据每个样本的面部图片判断出其表 ...
基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络
基于pytorch使用实现CNN 如何使用pytorch构建CNN卷积神经网络所用工具文件结构: 数据: 代码: 结果: 改进思路拓展本文是一个基于pytorch使用CNN在生物信息学上进行位 ...
我用 PyTorch 复现了 LeNet-5 神经网络（自定义数据集篇）！
大家好,我是红色石头! 在上三篇文章: 这可能是神经网络 LeNet-5 最详细的解释了! 我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)! 我用 PyTorch ...
我用 PyTorch 复现了 LeNet-5 神经网络（CIFAR10 数据集篇）！
大家好,我是红色石头! 在上两篇文章: 这可能是神经网络 LeNet-5 最详细的解释了! 我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)! 详细介绍了卷积神经网络 ...
【深度学习】我用 PyTorch 复现了 LeNet-5 神经网络（自定义数据集篇）！
在上三篇文章: 这可能是神经网络 LeNet-5 最详细的解释了! 我用 PyTorch 复现了 LeNet-5 神经网络(MNIST 手写数据集篇)! 我用 PyTorch 复现了 LeNet-5 ...
【深度学习】我用 PyTorch 复现了 LeNet-5 神经网络（CIFAR10 数据集篇）！
今天我们将使用 Pytorch 来继续实现 LeNet-5 模型,并用它来解决 CIFAR10 数据集的识别. 正文开始! 二.使用LeNet-5网络结构创建CIFAR-10识别分类器 LeNet-5 ...
【深度学习】我用 PyTorch 复现了 LeNet-5 神经网络（MNIST 手写数据集篇）！
今天我们将使用 Pytorch 来实现 LeNet-5 模型,并用它来解决 MNIST数据集的识别. 正文开始! 一.使用 LeNet-5 网络结构创建 MNIST 手写数字识别分类器 MNIST是一 ...
【深度学习】翻译：60分钟入门PyTorch（三）——神经网络
前言原文翻译自:Deep Learning with PyTorch: A 60 Minute Blitz 翻译:林不清(https://www.zhihu.com/people/lu-guo-92 ...

Pytorch(7)-自己设计神经网络会遇到的问题

操作pytorch架构遇到的问题