前言

本章节主要介绍如何使用torch.utils.data 中的Dataset和Dataloader来构建数据集, 重点要看使用细节

DataSet

• torch.utils.data.Dataset
  • 功能 : Dataset抽象;类, 所有自定义的Dataset都需要继承他, 并重写相应的方法
  • getitem(self, index)
    1. 接收一个索引, 返回一个样本 : index => label, data
    2. 返回的样本的大小要一样

DataLoader

• torch.utils.data.DataLoader
  • 功能 : 创建可以迭代的数据装载器
  • 参数 :
    1. dataset : Dataset类对象, 决定数据从哪读取以及如何读取
    2. batchsize: 决定数据批次大小
    3. num_works: 多进程读取数据的线程数
    4. shuffle: 每个 epoch 是否乱序
    5. 当样本数不能被batchsize整除时, 是否舍去最后一个batch的数据
  • 名词解释 :
    1. 样本总数 : 80, batchsize : 8 => 1 Epoch = 10 iteration

数据构建

1. 创建Dataset 类 ✨

class WeiBoDataset(Dataset):pass

2. 读取数据

《Pytorch学习指南》- Dataset和Dataloader用法详解相关推荐

1. linux getline函数用法,Linux文本处理三剑客之awk学习笔记05：getline用法详解

   getline用法详解 在默认情况下,awk支持从文件或者STDIN中读取数据.我们也可以使用getline来灵活读取数据,例如在main代码块执行过程中读取某个非待处理文件的数据,或者从某个读取某个 ...

2. formatter java_Java学习笔记之Formatter的用法详解(输出格式化)

   java.util.Formatter (摘自sun主页) printf 风格的格式字符串的解释程序.此类提供了对布局对齐和排列的支持,以及对数值.字符串和日期/时间数据的常规格式和特定于语言环境的输 ...

3. Pytorch里addmm()和addmm_()的用法详解

   一.函数解释 在torch/_C/_VariableFunctions.py的有该定义,意义就是实现一下公式: 换句话说,就是需要传入5个参数,mat里的每个元素乘以beta,mat1和mat2进行矩 ...

4. Sklearn学习笔记，LogisticRegression的用法详解

   简介 Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具.它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上,里面的 API ...

5. Ext.Net学习笔记22：Ext.Net Tree 用法详解

   上面的图片是一个简单的树,使用Ext.Net来创建这样的树结构非常简单,代码如下: <ext:TreePanel runat="server"><Root> ...

6. c语言数据类型int的用法,C语言基本数据类型:整型(int)用法详解|C语言学习

   C语言基本数据类型:整型(int)用法详解 1. 整型 int C 语言提供了很多整数类型(整型),这些整型的区别在于它们的取值范围的大小,以及是否可以为负.int 是整型之一,一般被称为整型.以后, ...

7. C语言再学习 -- Xargs用法详解

   参看:Xargs用法详解(原创) 简介 之所以能用到这个命令,关键是由于很多命令不支持 | 管道来来传递参数,而日常工作中有这个必要,所以就有了 xargs 命令,例如: 这个命令是错误的: find ...

8. 《算法笔记》学习日记——6.1 vector的常见用法详解

   目录 6.1 vector的常见用法详解 问题 A: Course List for Student (25) 问题 B: Student List for Course (25) 小结 6.1 ve ...

9. C语言return的用法详解，C语言函数返回值详解。 （本次转载仅供学习，感谢原创！！转发自C语言中文网，如有侵权请私信本人删除）

   C语言return的用法详解,C语言函数返回值详解 转载:http://c.biancheng.net/view/1855.html 函数的返回值是指函数被调用之后,执行函数体中的代码所得到的结果,这 ...

最新文章

1. java计数器策略模式_策略模式与外观模式 | 学步园
2. 北京实习总结——记住牛人那些话
3. python批量分析表格_示例python 批量操作excel统计销售榜品牌及销售额
4. c++ cin不能输入的问题
5. 不同系统下的shell的不同_不同论文检测系统有哪些区别？
6. STM32 的 JLink 调试时「Flash Timeout」和「Flash Download Failed」问题解决
7. pta-5、产生每位数字相同的n位数 (10 分)
8. 【Kibana】FATAL Error: [config validation of [elasticsearch].url]: definition for this key is missing
9. 灵悟礼品网上专卖店——画出项目的主要框架
10. linux磁盘分区详解
11. Jetpack新成员，App Startup一篇就懂
12. 功率因数 matlab,matlab功率因数测量
13. “土地信息＋”能否激发千亿大数据应用市场
14. 关于redis创建集群时出现[ERR] Node x.x.x.x:6379 is not empty. Either the node already knows other nodes (check
15. exoplayer的media2扩展
16. 【采集项目-（4)业务数据采集】
17. JAVA代码混淆器大全
18. PhysX FluidMark发布 支持多核心处理器
19. MATLAB：执行程序时调用bin文件夹下的.m文件，却显示找不到该文件
20. MyLinearLayout 之 初级学习经验

热门文章

1. 数据分析的定义和作用
2. win10休眠按钮在“选择电源按钮功能”配置中找不到
3. 使用GRE协议建立IPSEC
4. 使用Robots.txt引导百度爬虫合理分配抓取资源
5. 百亿级图数据在快手安全情报的应用与挑战
6. java to c converter_Java to C Converter专业版-Java to C Converter正式版下载-最火手机站
7. Tensorflow部署到移动端
8. 2021如何用短信查询高考成绩,2020湖南高考成绩短信查询方式
9. 【专升本计算机基础】计算机技术概论（一）
10. SublimeText 配置跳转回上个光标坐标