收藏 | 深度学习pytorch训练代码

点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：作者丨wfnian@知乎（已授权）

来源丨https://zhuanlan.zhihu.com/p/396666255

编辑丨极市平台

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

目录如下：

导入包以及设置随机种子
以类的方式定义超参数
定义自己的模型
定义早停类(此步骤可以省略)
定义自己的数据集Dataset,DataLoader
实例化模型，设置loss，优化器等
开始训练以及调整lr
绘图
预测

一、导入包以及设置随机种子

import numpy as np
import torch
import torch.nn as nn
import numpy as np
import pandas as pd
from torch.utils.data import DataLoader, Dataset
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as pltimport random
seed = 42
torch.manual_seed(seed)
np.random.seed(seed)
random.seed(seed)

二、以类的方式定义超参数

class argparse():passargs = argparse()
args.epochs, args.learning_rate, args.patience = [30, 0.001, 4]
args.hidden_size, args.input_size= [40, 30]
args.device, = [torch.device("cuda:0"if torch.cuda.is_available() else"cpu"),]

三、定义自己的模型

class Your_model(nn.Module):def __init__(self):super(Your_model, self).__init__()passdef forward(self,x):passreturn x

四、定义早停类(此步骤可以省略)

class EarlyStopping():def __init__(self,patience=7,verbose=False,delta=0):self.patience = patienceself.verbose = verboseself.counter = 0self.best_score = Noneself.early_stop = Falseself.val_loss_min = np.Infself.delta = deltadef __call__(self,val_loss,model,path):print("val_loss={}".format(val_loss))score = -val_lossif self.best_score isNone:self.best_score = scoreself.save_checkpoint(val_loss,model,path)elif score < self.best_score+self.delta:self.counter+=1print(f'EarlyStopping counter: {self.counter} out of {self.patience}')if self.counter>=self.patience:self.early_stop = Trueelse:self.best_score = scoreself.save_checkpoint(val_loss,model,path)self.counter = 0def save_checkpoint(self,val_loss,model,path):if self.verbose:print(f'Validation loss decreased ({self.val_loss_min:.6f} --> {val_loss:.6f}).  Saving model ...')torch.save(model.state_dict(), path+'/'+'model_checkpoint.pth')self.val_loss_min = val_loss

五、定义自己的数据集Dataset,DataLoader

class Dataset_name(Dataset):def __init__(self, flag='train'):assert flag in ['train', 'test', 'valid']self.flag = flagself.__load_data__()def __getitem__(self, index):passdef __len__(self):passdef __load_data__(self, csv_paths: list):passprint("train_X.shape:{}\ntrain_Y.shape:{}\nvalid_X.shape:{}\nvalid_Y.shape:{}\n".format(self.train_X.shape, self.train_Y.shape, self.valid_X.shape, self.valid_Y.shape))train_dataset = Dataset_name(flag='train')
train_dataloader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
valid_dataset = Dataset_name(flag='valid')
valid_dataloader = DataLoader(dataset=valid_dataset, batch_size=64, shuffle=True)

六、实例化模型，设置loss，优化器等

model = Your_model().to(args.device)
criterion = torch.nn.MSELoss()
optimizer = torch.optim.Adam(Your_model.parameters(),lr=args.learning_rate)train_loss = []
valid_loss = []
train_epochs_loss = []
valid_epochs_loss = []early_stopping = EarlyStopping(patience=args.patience,verbose=True)

七、开始训练以及调整lr

for epoch in range(args.epochs):Your_model.train()train_epoch_loss = []for idx,(data_x,data_y) in enumerate(train_dataloader,0):data_x = data_x.to(torch.float32).to(args.device)data_y = data_y.to(torch.float32).to(args.device)outputs = Your_model(data_x)optimizer.zero_grad()loss = criterion(data_y,outputs)loss.backward()optimizer.step()train_epoch_loss.append(loss.item())train_loss.append(loss.item())if idx%(len(train_dataloader)//2)==0:print("epoch={}/{},{}/{}of train, loss={}".format(epoch, args.epochs, idx, len(train_dataloader),loss.item()))train_epochs_loss.append(np.average(train_epoch_loss))#=====================valid============================Your_model.eval()valid_epoch_loss = []for idx,(data_x,data_y) in enumerate(valid_dataloader,0):data_x = data_x.to(torch.float32).to(args.device)data_y = data_y.to(torch.float32).to(args.device)outputs = Your_model(data_x)loss = criterion(outputs,data_y)valid_epoch_loss.append(loss.item())valid_loss.append(loss.item())valid_epochs_loss.append(np.average(valid_epoch_loss))#==================early stopping======================early_stopping(valid_epochs_loss[-1],model=Your_model,path=r'c:\\your_model_to_save')if early_stopping.early_stop:print("Early stopping")break#====================adjust lr========================lr_adjust = {2: 5e-5, 4: 1e-5, 6: 5e-6, 8: 1e-6,10: 5e-7, 15: 1e-7, 20: 5e-8}if epoch in lr_adjust.keys():lr = lr_adjust[epoch]for param_group in optimizer.param_groups:param_group['lr'] = lrprint('Updating learning rate to {}'.format(lr))

八、绘图

plt.figure(figsize=(12,4))
plt.subplot(121)
plt.plot(train_loss[:])
plt.title("train_loss")
plt.subplot(122)
plt.plot(train_epochs_loss[1:],'-o',label="train_loss")
plt.plot(valid_epochs_loss[1:],'-o',label="valid_loss")
plt.title("epochs_loss")
plt.legend()
plt.show()

九、预测

# 此处可定义一个预测集的Dataloader。也可以直接将你的预测数据reshape,添加batch_size=1
Your_model.eval()
predict = Your_model(data)

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看