[Pytorch] ValueError: sampler option is mutually exclusive with shuffle
踩坑记录:
pytoroch利用DDP(DistributedDataParallel)进行单机多卡的训练时,
提示:
ValueError: sampler option is mutually exclusive with shuffle
原因:
使用了DistributedSampler,
而在dataloader中,sampler和 shuffle不能同时为真.
但由于模型确实需要使用shuffle,不能因为加快速度不管准确性了啊
查阅文档,得知
DistributedSampler中shuffle默认为真,
但是有一个隐藏的小坑就是随机种子默认为0.
解决方案:
官方代码给了这么一段话:
In distributed mode, calling the :meth:set_epoch method at the beginning of each epoch before creating the :class:DataLoader iterator is necessary to make shuffling work properly across multiple epochs. Otherwise, the same ordering will be always used.
调用一下DS.set_epoch(*)再将dataloader的shuffle改为false即可
[Pytorch] ValueError: sampler option is mutually exclusive with shuffle相关推荐
- Pytorch使用DistributedDataParallel单机多卡训练时遇到ValueError: sampler option is mutually exclusive with shuff
Pytorch使用DistributedDataParallel单机多卡训练时遇到 ValueError: sampler option is mutually exclusive with shuf ...
- Subscription to topics, partitions and pattern are mutually exclusive java
订阅主题.分区和模式是相互排斥的Subscription to topics, partitions and pattern are mutually exclusive 原因 assign是手动分配 ...
- MECE分析法(Mutually Exclusive Collectively Exhaustive)
什么是MECE分析法? MECE,是Mutually Exclusive Collectively Exhaustive,中文意思是"相互独立,完全穷尽". 也就是对于一个重大的议 ...
- Debug Pytorch: ValueError: Expected more than 1 value per channel when training, got input size tor
ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 512] ...
- Kafka使用报错Subscription to topics, partitions and pattern are mutually exclusive
报错内容 Exception in thread "main" java.lang.IllegalStateException: Subscription to topics, p ...
- [Pytorch] Sampler, DataLoader和数据batch的形成
目录 1. 简介 2. 整体流程 3. Sampler和BatchSampler 3.1 Sampler 3.2 BatchSampler 4. DataLoader 4.1 DataLoader 4 ...
- PyTorch—torch.utils.data.DataLoader 数据加载类
文章目录 DataLoader(object)类: _DataLoaderIter(object)类 __next__函数 pin_memory_batch() _get_batch函数 _proce ...
- Pytorch.Dataloader 详细深度解读和微修改源代码心得
关于pytorch 的dataloader库,使用pytorch 基本都会用到的一个库 今天遇到了一个问题,我在训练的时候,采用batch_size =2 去训练,最终的loss抖动太大了,看得出来应 ...
- pytorch学习笔记之dataload
pytorch的数据加载:torch.utils.data.DataLoader 源码解析 python中iterator和iterable的区别:前者表示迭代器,后者表示是否可迭代:迭代器不用知道一 ...
最新文章
- Python适合初学者或者0基础学习吗?
- kylin linux 安装教程,新手入门必备：kylin安装教程介绍！
- 【C语言】scanf()输入浮点型数据
- Canvas--文字渲染
- C# Remoting理解
- matlab中计算sinad,图解射频天线指标，秒懂！
- Win10提示“无法使用内置管理员账户打开计算器”解决方案
- 推荐：(链接)幽默男女－－绝对搞笑!!(每日更新)
- 生产制造管理系统快速提高生产效率
- 天选三超频实战/适用于所有AMD笔记本的全面超频指南：CPU频率，功耗墙，Infinity Fabric总线（FCLK），内存时序，CPU电压，核显频率，核显电压......
- RabbitMQ实战教程
- freemarker（FTL）常见语法大全
- 使用bootstrap制作简单的左侧导航栏
- 【SDL游戏编程入门第一卷】配置SDL环境
- Soul API 网关源码学习《二》
- latex 插图位置跑在文档最后的解决方法
- 关于12306——传统信息化系统面向互联网应用的挑战
- 20155314 2016-2017-2 《Java程序设计》第6周学习总结
- visual studio西红柿插件过期解决办法——不断恢复试用
- k8s节点状态异常思路