人工智能-作业1：PyTorch实现反向传播

环境配置：

1.安装pycharm要求不多，我原来的pycharm就是从软件商店下载的，下载社区版就ok，专业版的话只有使用一个月的时间。
2.安装Anaconda,额我的Anaconda3早先就安装完成了，安装也是傻瓜式安装，所以不做介绍
3.安装pytorch，这部分就很关键，毕竟花了一下午的时间，遇到的问题就五花八门
官网：https://pytorch.org/enterprise-support-program
选择版本的时候并不是版本越高越好，需要适配自己的驱动版本。
（1）输入命令行时要在Anaconda Prompt下进行，不要在win+R下进行，否则只会提示命令无效，至少我的是这样。
（2）pycharm的setting中Python Iterpreter中确实有导入包的方法，但大多情况下会失败，主要是因为torch版本的问题，因为默认会给你安装最高的版本，反而不适配自己的驱动。
（3）时间超时：某些情况下是可以通过将命令行中的conda改为pip而解决，但也只是少数情况下
（4）大片冒红，这时候会提示很多错误，其实只要升级一下Anaconda版本
conda update -n base conda
挑选一个版本低一点的torch就可以解决。
可以参考：https://blog.csdn.net/weixin_41622348/article/details/100582862?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165131100716782395379530%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=165131100716782395379530&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduend~default-1-100582862.142^v9pc_search_result_control_group,157^v4control&utm_term=Solving+environment%3A+failed+with+initial+frozen+solve.+Retrying+with+flexible+solve.&spm=1018.2226.3001.4187

计算过程

首先我们的 w 设置一个初始值，将 w ww 设置为需要梯度，然后就构建出整个计算图。

构建出计算图之后，我们使用 backward 来反向计算 L 对 w的导数，就存放在 w.grad 成员里面。这里需要注意的是 grad 也是一个 Tensor，所以为了避免计算导数的时候构建计算图，需要使用 grad 中的成员 data 进行计算。

以上就是参数 w相应的更新过程。

反向传播

代码如下

import torch
import numpy
x_data = [1.0, 2.0, 3.0]        # 输入值
y_data = [2.0, 4.0, 6.0]        # 输出值
w = torch.Tensor([1.0])
w.requires_grad = True
# 权重初始值(设置w的初始值)，在grad求导时会将这里设置的初始值带入
# Tensor创建时默认不计算梯度，需要计算梯度设置为ture，自动记录求w的导# y_predict = x * w
def forward(x):return x * w
# 损失函数，return激活函数后得到的
def loss(x,y):y_pred = forward(x)return (y_pred - y) ** 2# 训练过程
# 第一步:先算损失Loss
# 第二步:backward，反向传播
# 第三步:梯度下降
for epoch in range(100):    #训练100次for x, y in zip(x_data,y_data) :l = loss(x,y)           # 前向传播，求Loss(损失函数)，构建计算图l.backward()            # 反向传播，求出计算图中所有梯度存入w中print("\tgrad: ",x,y,w.grad.item())# w.grad.data:获取梯度，用data计算，不会建立计算图，每次获取叠加到gradw.data = w.data - 0.01 * w.grad.data     # 修正一次w，learningrate=0.01(类似步长w.grad.data.zero_()     # 注意:将w中记录的梯度清零，消除本次计算记录，只保留新的w，开启下一次前向传播print("pregress:", epoch, l.item()) # item取元素精度更高,得到的是loss# Press the green button in the gutter to run the script.
if __name__ == '__main__':print_hi('PyCharm')

运行结果

PyTorch Autograd自动求导

import torch
import numpy#创建一个张量并设置requires_grad=True用来追踪其计算历史
x = torch.ones(2, 2, requires_grad=True)
print(x)
#对这个张量做一次运算
y = x + 2
print(y)
print(y.grad_fn)
#y是计算的结果，所以它有grad_fn属性# 对y进行更多操作：
z = y * y * 3
out = z.mean()
print(z, out)#.requires_grad_(...) 原地改变了现有张量的 requires_grad 标志。
#如果没有指定的话，默认输入的这个标志是False'''
a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)#梯度,因为out是一个标量。所以让我们直接进行反向传播，
#out.backward()和out.backward(torch.tensor(1.))out.backward()#输出导数d(out)/dx
print(x.grad)x=torch.randn(3,requires_grad=True)
y=x*2
while y.data.norm()<1000:y=y*2print(y)
#在这种情况下，y不再是标量。torch.autograd不能直接计算完整的雅可比矩阵，
# 但是如果我们只想要雅可比向量积，只需将这个向量作为参数传给backward：
v=torch.tensor([0.1,1.0,0.001],dtype=torch.float)
y.backward(v)
print(x.grad)#为了防止跟踪历史记录（和使用内存），可以将代码块包装在with torch.no_grad():中。在评估模型时特别有用，
# 因为模型可能具有requires_grad = True的可训练的参数，但是我们不需要在此过程中对他们进行梯度计算。
# 也可以通过将代码块包装在 with torch.no_grad(): 中，来阻止autograd跟踪设置了
# .requires_grad=True 的张量的历史记录。print(x.requires_grad)
print((x ** 2).requires_grad)

输出结果：