点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：量子位

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

在MNIST上进行训练，可以说是计算机视觉里的“Hello World”任务了。

而如果使用PyTorch的标准代码训练CNN，一般需要3分钟左右。

但现在，在一台笔记本电脑上就能将时间缩短200多倍。

速度直达0.76秒！

那么，到底是如何仅在一次epoch的训练中就达到99%的准确率的呢？

八步提速200倍

这是一台装有GeForce GTX 1660 Ti GPU的笔记本。

我们需要的还有Python3.x和Pytorch 1.8。

先下载数据集进行训练，每次运行训练14个epoch。

这时两次运行的平均准确率在测试集上为99.185%，平均运行时间为2min 52s ± 38.1ms。

接下来，就是一步一步来减少训练时间：

一、提前停止训练

在经历3到5个epoch，测试准确率达到99%时就提前停止训练。

这时的训练时间就减少了1/3左右，达到了57.4s±6.85s。

二、缩小网络规模，采用正则化的技巧来加快收敛速度

具体的，在第一个conv层之后添加一个2x2的最大采样层（max pool layer），将全连接层的参数减少4倍以上。

然后再将2个dropout层删掉一个。

这样，需要收敛的epoch数就降到了3个以下，训练时间也减少到30.3s±5.28s。

三、优化数据加载

使用data_loader.save_data()，将整个数据集以之前的处理方式保存到磁盘的一个pytorch数组中。

也就是不再一次一次地从磁盘上读取数据，而是将整个数据集一次性加载并保存到GPU内存中。

这时，我们只需要一次epoch，就能将平均训练时间下降到7.31s ± 1.36s。

四、增加Batch Size

将Batch Size从64增加到128，平均训练时间减少到4.66s ± 583ms。

五、提高学习率

使用Superconvergence来代替指数衰减。

在训练开始时学习率为0，到中期线性地最高值（4.0），再慢慢地降到0。

这使得我们的训练时间下降到3.14s±4.72ms。

六、再次增加Batch Size、缩小缩小网络规模

重复第二步，将Batch Size增加到256。

重复第四步，去掉剩余的dropout层，并通过减少卷积层的宽度来进行补偿。

最终将平均时间降到1.74s±18.3ms。

七、最后的微调

首先，将最大采样层移到线性整流函数（ReLU）激活之前。

然后，将卷积核大小从3增加到5.

最后进行超参数调整：

使学习率为0.01（默认为0.001），beta1为0.7（默认为0.9），bata2为0.9（默认为0.999）。

到这时，我们的训练已经减少到一个epoch，在762ms±24.9ms的时间内达到了99.04%的准确率。

“这只是一个Hello World案例”

对于这最后的结果，有人觉得司空见惯：

优化数据加载时间，缩小模型尺寸，使用ADAM而不是SGD等等，都是常识性的事情。

我想没有人会真的费心去加速运行MNIST，因为这是机器学习中的“Hello World”，重点只是像你展示最小的关键值，让你熟悉这个框架——事实上3分钟也并不长吧。

而也有网友觉得，大多数人的工作都不在像是MNIST这样的超级集群上。因此他表示：

我所希望的是工作更多地集中在真正最小化训练时间方面。

GitHub：
https://github.com/tuomaso/train_mnist_fast

参考链接：
[1]https://www.reddit.com/r/MachineLearning/comments/p1168k/p_training_cnn_to_99_on_mnist_in_less_than_1/

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看