pytorch 入门学习加载数据集-8
2024-06-06 22:38:57
pytorch 入门学习加载数据集
import torch
import numpy as np
import torchvision
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoaderimport torch.nn.functional as F
import matplotlib.pyplot as pltclass DiabetesDataset(Dataset):def __init__(self, filepath):xy = np.loadtxt('diabetes.csv.gz', delimiter=',', dtype=np.float32)#nvida显卡大部分显卡只支持float32.self.len = xy.shape[0]#对于数据量较少的可以一次性全部加载进来self.x_data = torch.from_numpy(xy[:, :-1]) # -1 表示最后一列不要self.y_data = torch.from_numpy(xy[:, [-1]])def __getitem__(self, index):return self.x_data[index],self.y_data[index]def __len__(self):return self.lendataset = DiabetesDataset('diabetes.csv.gz')
train_loder = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2) #num_workers为设置几个线程去读取class Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8,6)self.linear2 = torch.nn.Linear(6,4)self.linear3 = torch.nn.Linear(4,1)self.relu = torch.nn.ReLU() #torch.nn.Sigmoid()self.sigmoid = torch.nn.Sigmoid()def forward(self,x):x = self.relu(self.linear1(x))x = self.relu(self.linear2(x))x = self.sigmoid(self.linear3(x)) #使用 ReLU + Sigmoid 的结合， 最后一层嵌套 Sigmoidreturn xmodel = Model()criterion = torch.nn.BCELoss(size_average=True)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)if __name__ == '__main__':for epoch in range(100): #一个epoch为全部数据训练了一次for i,data in enumerate(train_loder,0): #i为迭代次数#1. prepare datainputs,labels = data # inputs,labels 为张量，其样本量应该和batch_size一样#2. Forwardy_pred = model(inputs)loss = criterion(y_pred,labels)print(epoch,loss.item())#3. Backwardoptimizer.zero_grad()loss.backward()#4. Updateoptimizer.step()#outs:
96 0.6488460302352905
96 0.6837149858474731
96 0.6773790717124939
96 0.5895138382911682
96 0.6454289555549622
96 0.6540895700454712
96 0.634219229221344
96 0.5071176886558533
96 0.6521698832511902
96 0.5890663862228394
96 0.6260353326797485
96 0.6036486625671387
96 0.6821258068084717
96 0.6444405913352966
96 0.7117087244987488
96 0.6727374792098999
96 0.5942217707633972
96 0.572909951210022
96 0.5683532953262329
96 0.5906638503074646
96 0.5729745626449585
96 0.6592338681221008
96 0.5666840672492981
96 0.5628921389579773
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
97 0.5504413843154907
97 0.5592724680900574
97 0.6298409700393677
97 0.5115721821784973
97 0.5389221906661987
97 0.5870144963264465
97 0.5902682542800903
97 0.6780911684036255
97 0.6389861702919006
97 0.7095761895179749
97 0.6540379524230957
97 0.6255027055740356
97 0.6726484298706055
97 0.6435151100158691
97 0.6405020952224731
97 0.6269117593765259
97 0.6627392172813416
97 0.6168067455291748
97 0.6124289035797119
97 0.713973879814148
97 0.5994608402252197
97 0.5881710648536682
97 0.6652423143386841
97 0.5875065922737122
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
98 0.6116299033164978
98 0.6460859179496765
98 0.6689874529838562
98 0.5503941774368286
98 0.6141761541366577
98 0.5878812074661255
98 0.692798376083374
98 0.5875721573829651
98 0.5414928793907166
98 0.6070823073387146
98 0.6634365916252136
98 0.6647754311561584
98 0.5649587512016296
98 0.5715025663375854
98 0.6386815905570984
98 0.5531622767448425
98 0.6154085993766785
98 0.6604638695716858
98 0.6641201972961426
98 0.5941271781921387
98 0.6185081005096436
98 0.6462123990058899
98 0.6671874523162842
98 0.685947060585022
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
D:\Anaconda3\envs\pcd\lib\site-packages\torch\nn_reduction.py:43: UserWarning: size_average and reduce args will be deprecated, please use reduction='mean' instead.warnings.warn(warning.format(ret))
99 0.5591648817062378
99 0.7278904914855957
99 0.5913693904876709
99 0.5824277400970459
99 0.6379620432853699
99 0.6897075176239014
99 0.5347273349761963
99 0.6482306718826294
99 0.7141227722167969
99 0.5258570313453674
99 0.6128413081169128
99 0.6075040698051453
99 0.521778404712677
99 0.6718929409980774
99 0.661381721496582
99 0.6632771492004395
99 0.6090944409370422
99 0.5503813624382019
99 0.6275145411491394
99 0.698398232460022
99 0.6591424345970154
99 0.5420821309089661
99 0.6173321604728699
99 0.634967565536499Process finished with exit code 0pytorch 入门学习加载数据集-8相关推荐
- Pytorch迁移学习加载部分预训练权重
迁移学习在图像分类领域非常常见,利用在超大数据集上训练得到的网络权重,迁移到自己的数据上进行训练可以节约大量的训练时间,降低欠拟合/过拟合的风险. 如果用原生网络进行迁移学习非常简单,其核心是 mod ...
- Pytorch加载数据集的方式总结
Pytorch加载数据集的方式总结 一.自己重写定义(Dataset.DataLoader) 二.用Pytorch自带的类(ImageFolder.datasets.DataLoader) 2.1 加 ...
- 【深度学习】——利用pytorch搭建一个完整的深度学习项目（构建模型、加载数据集、参数配置、训练、模型保存、预测）
目录 一.深度学习项目的基本构成 二.实战(猫狗分类) 1.数据集下载 2.dataset.py文件 3.model.py 4.config.py 5.predict.py 一.深度学习项目的基本构成 ...
- Pytorch深度学习（五）：加载数据集以及mini-batch的使用
Pytorch深度学习(五):加载数据集以及mini-batch的使用 参考B站课程:<PyTorch深度学习实践>完结合集 传送门:<PyTorch深度学习实践>完结合集 一 ...
- PyTorch：数据加载，数学原理，猫鱼分类，CNN，预训练，迁移学习
1,数据加载 PyTorch开发了与数据交互的标准约定,所以能一致地处理数据,而不论处理图像.文本还是音频.与数据交互的两个主要约定是数据集(dataset)和数据加载器(dataloader).数据 ...
- pytorch使用Dataloader加载自己的数据集train_X和train_Y
Pytorch使用Dataloader加载自己的数据集train_X和train_Y 1.重构一个新的dataloader函数 2.调用 1.重构一个新的dataloader函数 在使用torch进行 ...
- pytorch创建自己的Dataset加载数据集
文章目录 创建一个类并继承torch.utils.data.dataset.Datase类 创建__getitem__方法 加载数据集 创建一个类并继承torch.utils.data.dataset ...
- pytorch 入门学习多分类问题-9
pytorch 入门学习多分类问题 运行结果 [1, 300] loss: 2.287[1, 600] loss: 2.137[1, 900] loss: 1.192 Accuracy on test ...
- python_torch_加载数据集_构建模型_构建训练循环_保存和调用训练好的模型
以下代码均来自bilibili:[适用于初学者的Pytorch编程教学] 以下为完整代码,复制即可运行. import torch import time import json import tor ...
最新文章
- QQ拼音在中文输入下默认英文标点
- VS中快速生成dll和lib方法
- python菜鸟教程m-Python map() 函数
- Spring中@Import注解的作用和使用
- kafka和flume进行整合的日志采集的confi文件编写
- 未定义标识符 stringc/c++(20)_Python 标识符命名规则
- 工作缺点和不足及措施_安全生产 | 查不足 定措施 抓落实 强管理 圣雄氯碱组织开展“事故回头看”工作...
- 读取中文目录(python)
- 时隔多日,旧域名重用,niceyoo博客上线
- 为什么人类的大脑认为数学“美”？
- python问卷调查系统设计案例_从设计到施工，全面剖析超级玻璃屋面系统案例！...
- 网站布局中遇到的一些问题
- 学习c/c++的50个好网站(转)
- CentOS服务器下nginx防盗链介绍与配置
- 《SQL学习指南》读书笔记四——优雅和粗鲁
- html手机网页新闻模板,新浪手机新闻网站模板首页html源码
- 模拟登录幸运抽奖（java）
- 代码坏味道 之 21 被拒绝的遗赠 refused bequest
- 学校设备保修维修工单小程序开发制作
- Java8流式操作-根据集合的某个属性值取交集