深度学习笔记（十四）—— 超参数优化[Hyperparameter Optimization]

这是深度学习笔记第十四篇，完整的笔记目录可以点击这里查看。

训练神经网络会涉及到许多超参数设置。神经网络中最常见的超参数包括：

the initial learning rate
learning rate decay schedule (such as the decay constant)
regularization strength (L2 penalty, dropout strength)

但正除此之外，还有许多相对不太敏感的超参数，例如在单参数自适应学习方法中，动量的设置及其schedule等方面。在本节中，我们将介绍一些执行超参数搜索的tips和tricks：

1. Implementation

大型神经网络通常需要很长时间来训练，因此执行超参数搜索可能需要很多天/周的时间。记住这一点很重要，因为它会影响代码库的设计。一种特殊的设计是让一个worker不断地对随机超参数进行采样并执行优化。在训练期间，worker将跟踪每个epoch之后的validation performance，并将模型检查点（以及其他训练统计信息，如随时间的损失 the loss over time）写入文件，最好是在共享文件系统上。将validation performance直接包含在文件名中是很有用的，这样可以方便地检查和排序进度。然后还有第二个程序，我们称之为master，它在计算集群中启动或终止worker，还可以检查worker编写的检查点，绘制他们的训练统计数据等。

2. Prefer one validation fold to cross-validation

在大多数情况下，一个大小合适的单一验证集大大简化了代码库，而不需要多次交叉验证。你会听到人们说他们“交叉验证”了一个参数，但很多时候都假设他们仍然只使用了一个验证集。

3. Hyperparameter ranges

在对数尺度上搜索超参数。例如，学习率的典型抽样如下learning_rate = 10 ** uniform(-6, 1)。也就是说，我们从一个均匀分布中生成一个随机数，然后把它乘以10的幂。正则化强度也应采用相同的策略。直观地说，这是因为学习率和正则化强度对training dynamics有乘法效应（multiplicative effects）。例如，当学习率为0.001时，学习率加0.01的固定变化对dynamics有很大影响，而当学习率为10时，几乎没有影响。这是因为在更新中学习率和计算的梯度相乘了。因此，将一个范围内的学习率乘以或除以某个值，比将这个范围内的学习率乘以或减去某个值要合适得多。一些参数（如dropout）通常在原始比例（original scale）中搜索（如dropout = uniform(0,1)）。

4. Prefer random search to grid search

正如Bergstra and Bengio在Random Search for Hyper-Parameter Optimization上所说的：“randomly chosen trials比trials on a grid更有效”。事实证明，这通常也更容易实现。
图片来自论文Random Search for Hyper-Parameter Optimization，要更深入了解可以下载来仔细阅读。
通常情况下，某些超参数比其他超参数更重要（例如图中顶部的超参数与左侧的超参数相比）。相比于网格搜索，执行随机搜索可以更精确地发现重要值。

5. Careful with best values on border

有时可能发生的情况是，你正在一个坏的范围（bad range）内搜索一个超参数（如学习率）。例如，假设我们使用learning_rate = 10 ** uniform(-6, 1)。一旦我们获取到结果，重要的是要再次检查最终的学习率不在此间隔的边缘，否则你可能会错过超出此间隔的更优化的超参数设置。

6. Stage your search from coarse to fine

在实践中，一个好的方法是首先在粗略范围（例如10**[-6，1]）中搜索，然后根据最佳结果出现的位置缩小范围。此外，在只训练1个epoch或更少epoch的情况下进行初始粗搜索也是有帮助的，因为许多超参数设置会导致模型根本不进行学习，或者因为无穷大的代价（infinite cost）而直接崩溃，代价是无限的。然后，第二阶段可以对5个epochs执行更窄的搜索，最后一阶段可以在最终范围内对更多epochs执行详细搜索。

7. Bayesian Hyperparameter Optimization

贝叶斯超参数优化是一个致力于提出更有效地寻找超参数空间的算法研究领域。其核心思想是在查询不同超参数下的性能时，适当地平衡exploration - exploitation之间的权衡。在这些模型的基础上还开发了多个库，其中一些比较著名的是Spearmint、SMAC和Hyperopt。然而，在使用ConvNets的实际环境中，carefully-chosen intervals击败random search仍然是相对困难的。

*本博客翻译总结自CS231n课程作业网站，该网站需要翻墙才能访问。