沐神的《动手学深度学习》课程中的 3.2节线性回归的从零实现

线性回归从0实现

代码的实现需要这么几个过程。

数据
读入随机打乱的数据，然后要分epoch。
定义我们的模型，损失函数，优化算法
定义好超参数
开始 for epoch …这个过程需要根据超参数，predict pre_label，然后计算出损失的反向传播，根据优化算法去更新参数。
最后记得打印每次的loss，acc,auc等参数。

我们读取⼀小批量训练样本，并通过我们的模型来获得⼀组预测。计算完损失后，我们开始反向传播，存储每个参数的梯度。最后，我们调⽤优化算法sgd来更新模型参数

构造数据

#随机生成一批数据 。y = Xw + b + ϵ. ϵ代表噪音值。
true_b = 4.2
true_w = torch.tensor([2,-3.4])
num_examples = 1000
def synthetic_data(w,b,num_examples):X = torch.normal(0,1,(num_examples,len(w)))y = torch.matmul(X,w)+by+= torch.normal(0,0.01,y.shape)return X,y
features, labels = synthetic_data(true_w,true_b,num_examples)
labels.shape
#torch.Size([1000])

看一下构造的数据。

# 保证图片在浏览器内正常显示
%matplotlib inline
import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))
plt.scatter(features[:,0],labels,marker='o',c='b')
plt.scatter(features[:,1],labels,marker='^',c='r')
plt.show()

定义数据随机读取函数：

特别注意yield字段。:yield 的函数在 Python 中被称之为 generator（生成器）

def data_iter(batch_size, features, labels):num_examples = len(features) indices = list(range(num_examples)) # 这些样本是随机读取的，没有特定的顺序 random.shuffle(indices)for i in range(0, num_examples, batch_size):batch_indices = torch.tensor(indices[i: min(i + batch_size, num_examples)])#print(indices[i: min(i + batch_size, num_examples)])yield features[batch_indices], labels[batch_indices]

import random
batch_size = 10for X, y in data_iter(batch_size, features, labels):print(X, '\n', y) break

初始化超参数

batch_size = 10
lr = 0.03
num_epochs = 3
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True)
b = torch.zeros(1, requires_grad=True)

定义模型

def linreg(X,w,b):"""线性回归模型"""return torch.matmul(X,w) + b

定义损失函数

def squared_loss(y_hat, y):#@save"""均⽅损失。"""return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2

定义优化算法

def sgd(params,lr,batch_size):#不track 梯度with torch.no_grad():for param in params:param -= lr*param.grad / batch_sizeparam.grad.zero_()

train

net = linreg
loss = squared_loss
for epoch in range(num_epochs):for X, y in data_iter(batch_size,features,labels):l = loss(net(X,w,b),y)l.sum().backward()sgd([w,b],lr,batch_size)# 使用参数的梯度更新参数with torch.no_grad():train_l = loss(net(features,w,b),labels)print(f'epoch {epoch + 1},loss {float(train_l.mean()):f}')

test

总结

pytorch backward
若在 torch 中对定义的变量 requires_grad 的属性赋为 True ，那么此变量即可进行梯度以及导数的求解。
当c.backward() 语句执行后，会自动对 c 表达式中的可求导变量进行方向导数的求解，并将对每个变量的导数表达存储到变量名.grad 中

loss.sum().backward()中对于sum()的理解
一个向量是不进行backward操作的，而sum（）后，由于梯度为1，所以对结果不产生影响。反向传播算法一定要是一个标量才能进行计算。
torch.no_grad()
是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度

参考

线性回归的从零开始实现
pytorch backward() 的一点简单的理解
loss.sum().backward()中对于sum()的理解
with torch.no_grad() 详解
Python yield 使用浅析