深度学习的代码实验结果复现问题

在进行神经网络反复训练试验后发现，每次的训练结果都有微小的波动，根据查阅相关资料，总结了神经网络模型代码复现的主要注意的几点：

首先强调，自己用的试验平台是PyTorch 1.9 GPU版本，CUDA为10.2版本，显卡为GTX1050Ti。

1，首先要固定代码里的所有的随机状态，包括torch自身的，这方面可以参考博主的帖子：

PyTorch的可重复性问题（如何使实验结果可复现）_hyk_1996的博客-CSDN博客_pytorch复现

2，明确PyTorch的GPU版本与CPU版本的训练结果不一致，猜测可能是二者硬件架构的原因，也可能是GPU版本使用CUDA平台计算，CUDA平台设计时做了部分优化与精度取舍，纯属个人盲猜；自己用的是GPU 1050Ti，CPU为AMD的，实验结果是GPU版本的训练后的准确率比CPU的还高一点~~~

3，只要固定PyTorch与CUDA的版本保持一致，保证使用相同的随机种子控制所有随机状态，计算结果是完全一致的（到亿分之一精度上也是完全一致的），和硬件GPU型号是否相同没有关系，硬件只是起到了计算的作用，具体怎么计算，怎么取舍进度还是软件计算平台的事。

以上所有内容都是根据自己的实验结果的总结，都有自己的实验结果论证，具体对不对是不是普遍适用的正确观点，自己也不知道。

深度学习的代码实验结果复现问题相关推荐

深度学习论文代码复现环境配置操作
***深度学习论文代码复现前置工作安装Ubuntu18.04 安装Nvidia显卡驱动安装anaconda 安装CUDA与cuDNN 通过软链接的修改实现多版本CUDA间的切换将~/.bash ...
深度学习入门|利用Tensorflow复现Yolov1/v2
深度学习入门|利用Tensorflow复现Yolov1/v2 使用PaddlePaddle解决论文复现问题首先开始进行环境的配置步骤1.安装Anaconda 官方网站:www.anaconda.c ...
如何阅读一份深度学习项目代码？
犹豫很久要不要把读代码这个事情专门挑出来写成一篇推文.毕竟读代码嘛,大家可能都会读.而且笔者个人读的和写的代码量也并不足以到指导大家读代码的程度.但笔者还是决定大胆地写一点:就当是给自己设立今后读代码 ...
深度学习项目代码阅读建议
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自|机器学习实验室犹豫很久要不要把读代码这个事情专门挑出来写 ...
怎样高效阅读一份深度学习项目代码？
犹豫很久要不要把读代码这个事情专门挑出来写成一篇推文.毕竟读代码嘛,大家可能都会读.而且笔者个人读的和写的代码量也并不足以到指导大家读代码的程度.但笔者还是决定大胆地写一点:就当是给自己设立今后读代码 ...
（一）深度学习项目代码结构
1.代码结构参考链接:李宏毅2021年机器学习HW2 Phoneme Classification 2.代码细节获得运行设备这两种写法的返回值都是字符串 #check device def ge ...
《python深度学习》代码中文注释
<python深度学习>由Keras之父.现任Google人工智能研究员的弗朗索瓦•肖莱(François Chollet)执笔,详尽介绍了用Python和Keras进行深度学习的探索实 ...
（机器学习/计算机视觉/深度学习）代码
PRML 一书的 matlab implementation(官网:http://prml.github.io/) 一位计算机视觉学术牛人的 Github(C++ code)(可作为自己的敲门砖,.s ...
基于Pycharm运行李沐老师的深度学习课程代码
最近在b站看李沐老师的深度学习课程,受益颇多.不过觉得光看视频实在是不过瘾,最好还是能实际的玩起来.鉴于我还是习惯使用pycharm,且不需要过多的中间过程展示,所以代码的编写基本都是在pycharm ...
PyInstaller打包深度学习模型代码详细教程
前言:由于工作需求,需要使用Pyinstaller库将Python脚本打包成exe文件,特此花几天时间查找资料,进行实验.将过程做个梳理,记录下来,方便自己和他人日后查询. 目录一.安装PyInst ...

深度学习的代码实验结果复现问题

深度学习的代码实验结果复现问题相关推荐

最新文章

热门文章