点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：机器之心

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

神经网络的 debug 过程着实不容易，这里是一些有所帮助的 tips。

基于神经网络的项目瓶颈通常并非对网络的实现。有时候，在编写了所有代码并尝试了一大堆超参数配置之后，网络就是无法正常工作。尤其是面对着数百万的参数, 任何一个小变动都有可能前功尽弃。

在面对各种各样的问题后，有人总结了一些帮助调试神经网络的实用 tips，希望能够减少大家调试神经网络的成本。

检查梯度问题

有时梯度是引发问题的原因。下面是几种与梯度相关的调试方法：

• 数值计算每个权重的梯度。这通常被称为「梯度检查」，有助于确保正确计算梯度，其中一种方法是使用有限差分。

• 比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如果梯度大小远小于权重大小，网络将花费很长时间进行训练。如果梯度大小与权重大小大致相同或更大，网络将非常不稳定，可能根本不会训练。

• 检查梯度爆炸或消失。如果梯度变为 0 或 nan/infinity，则可以确定网络没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 消失梯度，是否步数太大。一旦弄清楚梯度爆炸 / 消失的原因，就有各种解决方案来解决这个问题，例如添加残差连接以更好地传播梯度或简单地使用较小的网络。

• 激活函数也会导致梯度爆炸 / 消失。如果 sigmoid 激活函数的输入太大，梯度将非常接近 0。随着时间的推移检查激活函数的输入，然后确保这些输入不会导致梯度始终为 0 或很大。

检查训练过程

经常检查网络的训练进度可以节省时间。以训练贪吃蛇游戏为例，不是训练网络好几天，然后再检查网络是否学到了什么，而是每十分钟用当前学到的权重运行游戏。几个小时后，如果我们注意到每次都在做同样的事情并且获得零奖励，就知道可能有问题了，而这节省了几天的训练时间。

不要依赖定量输出

如果只查看定量输出，我们可能会错过有用的调试信息。例如，在训练语音翻译网络时，比起只检查评估函数是否在减少，更重要的是阅读翻译后的语音以确保它有意义；当训练一个用于图像识别的网络时，一定要确保手动检查网络提供的标签。

不应该依赖定量输出的原因有两个：首先，评估函数中可能存在错误。如果只查看错误评估函数输出的数字，可能需要数周时间才能意识到出现问题。其次，在神经网络输出中可能存在无法定量显示的错误模式。我们可能会意识到某个特定单词总是被错误翻译，或者在左上象限的图像识别网络总是错误的。这些观察结果反过来可以帮助找到数据处理部分的代码 bug，否则这些 bug 将被忽视。

尝试小数据集

确定代码是否存在 bug 或数据是否难以训练的另一种方法是首先拟合较小的数据集，比如将数据集中 100000 个训练示例修剪成只有 100 个甚至 1 个训练示例。如果在一个训练示例的情况下，网络仍然有很高的测试错误，不能够非常好地拟合数据，那么几乎可以肯定网络代码有问题。

尝试更简单的网络

如果全尺寸网络在训练时遇到问题，可以尝试使用层数较少的较小网络，这样可以更快地训练。如果较小的网络在全尺寸网络失败的情况下成功了，则表明全尺寸模型的网络架构过于复杂。如果简单网络和全尺寸网络都失败，则代码中可能存在 bug。

试着使用框架

如果没有使用机器学习框架编写神经网络的代码，那么可以通过在机器学习框架中编写相同的网络架构来检查问题何在。然后将打印语句放入非框架版本和框架版本中逐层比较输出，直到找到打印语句出现差异的位置，即错误所在。如果在反向传播期间发生错误，则可以从最后一层开始逐层打印权重的渐变，直到找到差异。但是此方法仅适用于网络的第一次迭代，因为由于第一次迭代输出的差异，第二次及以后的迭代将具有不同的起点。

参考内容：https://towardsdatascience.com/debugging-tips-for-neural-networks-f7dc699d6845

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点分享

点收藏

点点赞

点在看