Pytroch 深度学习跑CIFAR10数据集

CPU跑

from torch.utils.tensorboard import SummaryWriter#from model import *import torchvision
from torch import nn
from torch.utils.data import DataLoader# 准备数据集
train_data = torchvision.datasets.CIFAR10(root='./data', train=True, transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10(root='./data', train=False, transform=torchvision.transforms.ToTensor(),download=True)# 数据集的长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集的长度为：{}".format(train_data_size))
print("测试数据集的长度为：{}".format(test_data_size))# 利用 DataLoader 来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)# 创建网络模型
# 搭建神经网络
class Demo(nn.Module):def __init__(self):super(Demo, self).__init__()self.model = nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.model(x)return x
demo = Demo()# 损失函数
loss_fn = nn.CrossEntropyLoss()# 优化器
# learning_rate = 0.01
# 1e-2 = 1 *(10)^(-2) = 1 / 100 = 0.01
learning_rate = 1e-2
optimizer = torch.optim.SGD(demo.parameters(), lr=learning_rate)# 设置训练网络的一些参数
# 记录训练的次数
total_train_step = 0
# 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 10# 添加tensorboard
writer = SummaryWriter("./logs_train")for i in range(epoch):print("----------第 {} 轮训练开始----------".format(i+1))# 训练步骤开始demo.train()for data in train_dataloader:imgs, targets = dataoutputs = demo(imgs)loss = loss_fn(outputs, targets)# 优化器优化模型# 优化器梯度清零optimizer.zero_grad()loss.backward()optimizer.step()total_train_step += 1if total_train_step % 100 == 0:print("训练次数：{}， Loss：{}".format(total_train_step, loss.item()))writer.add_scalar("train_loss", loss.item(), total_train_step)# 测试步骤开始demo.eval()total_test_loss = 0total_accuracy = 0# 没有了梯度，保证不会进行调优，进行测试with torch.no_grad():for data in test_dataloader:imgs, targets = dataoutputs = demo(imgs)loss = loss_fn(outputs, targets)total_test_loss += loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy += accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率：{}".format(total_accuracy/test_data_size))writer.add_scalar("test_accuracy", total_accuracy/test_data_size, total_test_step)writer.add_scalar("test_loss", total_test_loss, total_test_step)total_test_step += 1# 保存每一轮训练的结果torch.save(demo, "demo_{}.pth".format(i))#torch.save(demo.state_dict(), "demo_{}.pth".format(i))print("模型已保存")writer.close()

GPU跑

两种调用cuda的方式

方式一

'''
需要调用 gpu（.cuda） 的三个地方：
1. 网络模型
2. 数据（输入、标注）
3. 损失函数
'''import time
import torch
from torch.utils.tensorboard import SummaryWriter
# from model import *
import torchvision
from torch import nn
from torch.utils.data import DataLoader# 准备数据集
train_data = torchvision.datasets.CIFAR10(root='./data', train=True, transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10(root='./data', train=False, transform=torchvision.transforms.ToTensor(),download=True)# 数据集的长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集的长度为：{}".format(train_data_size))
print("测试数据集的长度为：{}".format(test_data_size))# 利用 DataLoader 来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)# 创建网络模型
class Demo(nn.Module):def __init__(self):super(Demo, self).__init__()self.model = nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.model(x)return x
demo = Demo()
#调用gpu
if torch.cuda.is_available():demo = demo.cuda()# 损失函数
loss_fn = nn.CrossEntropyLoss()
#调用gpu
if torch.cuda.is_available():loss_fn = loss_fn.cuda()# 优化器
# learning_rate = 0.01
# 1e-2 = 1 *(10)^(-2) = 1 / 100 = 0.01
learning_rate = 1e-2
optimizer = torch.optim.SGD(demo.parameters(), lr=learning_rate)# 设置训练网络的一些参数
# 记录训练的次数
total_train_step = 0
# 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 5# 添加tensorboard
writer = SummaryWriter("./logs_train")
start_time = time.time()
for i in range(epoch):print("----------第 {} 轮训练开始----------".format(i+1))# 训练步骤开始demo.train()for data in train_dataloader:imgs, targets = data# 调用gpuif torch.cuda.is_available():imgs = imgs.cuda()targets = targets.cuda()outputs = demo(imgs)loss = loss_fn(outputs, targets)# 优化器优化模型# 优化器梯度清零optimizer.zero_grad()loss.backward()optimizer.step()total_train_step += 1if total_train_step % 100 == 0:end_time = time.time()print(end_time - start_time)print("训练次数：{}， Loss：{}".format(total_train_step, loss.item()))writer.add_scalar("train_loss", loss.item(), total_train_step)# 测试步骤开始demo.eval()total_test_loss = 0total_accuracy = 0# 没有了梯度，保证不会进行调优，进行测试with torch.no_grad():for data in test_dataloader:imgs, targets = data# 调用gpuif torch.cuda.is_available():imgs = imgs.cuda()targets = targets.cuda()outputs = demo(imgs)loss = loss_fn(outputs, targets)total_test_loss += loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy += accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率：{}".format(total_accuracy/test_data_size))writer.add_scalar("test_accuracy", total_accuracy/test_data_size, total_test_step)writer.add_scalar("test_loss", total_test_loss, total_test_step)total_test_step += 1# 保存每一轮训练的结果torch.save(demo, "demo_{}.pth".format(i))#torch.save(demo.state_dict(), "demo_{}.pth".format(i))print("模型已保存")writer.close()

方式二

'''
需要调用 gpu（.cuda） 的三个地方：
1. 网络模型
2. 数据（输入、标注）
3. 损失函数
'''import time
import torch
from torch.utils.tensorboard import SummaryWriter
# from model import *
import torchvision
from torch import nn
from torch.utils.data import DataLoader# 定义训练的设备
device = torch.device("cuda")# 准备数据集
train_data = torchvision.datasets.CIFAR10(root='./data', train=True, transform=torchvision.transforms.ToTensor(),download=True)
test_data = torchvision.datasets.CIFAR10(root='./data', train=False, transform=torchvision.transforms.ToTensor(),download=True)# 数据集的长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集的长度为：{}".format(train_data_size))
print("测试数据集的长度为：{}".format(test_data_size))# 利用 DataLoader 来加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)# 创建网络模型
class Demo(nn.Module):def __init__(self):super(Demo, self).__init__()self.model = nn.Sequential(nn.Conv2d(3, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(2),nn.Flatten(),nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.model(x)return x
demo = Demo()
#调用gpu
demo = demo.to(device)# 损失函数
loss_fn = nn.CrossEntropyLoss()
#调用gpu
loss_fn = loss_fn.to(device)# 优化器
# learning_rate = 0.01
# 1e-2 = 1 *(10)^(-2) = 1 / 100 = 0.01
learning_rate = 1e-2
optimizer = torch.optim.SGD(demo.parameters(), lr=learning_rate)# 设置训练网络的一些参数
# 记录训练的次数
total_train_step = 0
# 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 5# 添加tensorboard
writer = SummaryWriter("./logs_train")
start_time = time.time()
for i in range(epoch):print("----------第 {} 轮训练开始----------".format(i+1))# 训练步骤开始demo.train()for data in train_dataloader:imgs, targets = data# 调用gpuimgs = imgs.to(device)targets = targets.to(device)outputs = demo(imgs)loss = loss_fn(outputs, targets)# 优化器优化模型# 优化器梯度清零optimizer.zero_grad()loss.backward()optimizer.step()total_train_step += 1if total_train_step % 100 == 0:end_time = time.time()print(end_time - start_time)print("训练次数：{}， Loss：{}".format(total_train_step, loss.item()))writer.add_scalar("train_loss", loss.item(), total_train_step)# 测试步骤开始demo.eval()total_test_loss = 0total_accuracy = 0# 没有了梯度，保证不会进行调优，进行测试with torch.no_grad():for data in test_dataloader:imgs, targets = data# 调用gpuimgs = imgs.to(device)targets = targets.to(device)outputs = demo(imgs)loss = loss_fn(outputs, targets)total_test_loss += loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy += accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率：{}".format(total_accuracy/test_data_size))writer.add_scalar("test_accuracy", total_accuracy/test_data_size, total_test_step)writer.add_scalar("test_loss", total_test_loss, total_test_step)total_test_step += 1# 保存每一轮训练的结果torch.save(demo, "demo_{}.pth".format(i))#torch.save(demo.state_dict(), "demo_{}.pth".format(i))print("模型已保存")writer.close()

Pytroch 深度学习跑CIFAR10数据集相关推荐

【神经网络与深度学习】CIFAR10数据集介绍，并使用卷积神经网络训练图像分类模型——[附完整训练代码]
[神经网络与深度学习]CIFAR-10数据集介绍,并使用卷积神经网络训练模型--[附完整代码] 一.CIFAR-10数据集介绍 1.1 CIFAR-10数据集的内容 1.2 CIFAR-10数据集的结 ...
【神经网络与深度学习】CIFAR-10数据集介绍
CIFAR-10数据集含有6万个32*32的彩色图像,共分为10种类型,由 Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集而来.包含50000张训练图片, ...
深度学习 pytorch cifar10数据集训练
1.加载数据集,并对数据集进行增强,类型转换官网cifar10数据集附链接:https://www.cs.toronto.edu/~kriz/cifar.html 读取数据过程中,可以改变batc ...
转载【数据集】计算机视觉，深度学习，数据挖掘数据集整理
金融美国劳工部统计局官方发布数据上证A股日线数据,1999.12.09 至 2016.06.08,前复权,1095支股票深证A股日线数据,1999.12.09 至 2016.06.08,前复权, ...
深度学习常用的数据集，包括各种数据跟图像数据。
1. 免费数据集下载(持续更新中...) 2.［导读］ "大数据时代",数据为王!无论是数据挖掘还是目前大热的深度学习领域都离不开"大数据".大公司们一般会 ...
数据集大全：25个深度学习的开放数据集
介绍深度学习的关键是训练.无论是从图像处理到语音识别,每个问题都有其独特的细微差别和方法. 但是,你可以从哪里获得这些数据?现在你看到的很多研究论文都使用专有数据集,而这些数据集通常不会向公众发布. ...
二十五个深度学习相关公开数据集
转 [干货]二十五个深度学习相关公开数据集 2018年04月18日 13:42:53 阅读数:758 (选自Analytics Vidhya:作者:Pranav Dar:磐石编译) 目录介绍图像处 ...
25个用于深度学习的开放数据集
25个用于深度学习的开放数据集每个数据科学家必须使用 PRANAV DAR, 2018年3月29日转载自:https://www.analyticsvidhya.com/blog/2018/03/c ...
【深度学习】图像数据集处理常用方法合集（部分基于pytorch）
[深度学习]图像数据集处理常用方法合集(部分基于pytorch) 1 图像数据集预处理的目的1.1 灰度图转化1.2 高斯滤波去除高斯噪声 2 使用双峰法进行图像二值化处理2.1 图像直方图2.2 双 ...

Pytroch 深度学习跑CIFAR10数据集

CPU跑

Pytroch 深度学习跑CIFAR10数据集相关推荐

最新文章

热门文章

Pytroch 深度学习 跑CIFAR10数据集

CPU跑

Pytroch 深度学习 跑CIFAR10数据集相关推荐

最新文章

热门文章

Pytroch 深度学习跑CIFAR10数据集

Pytroch 深度学习跑CIFAR10数据集相关推荐