最近心情不好，写篇文章让大家开心一下吧。介绍一下世界上最好的算法：贝叶斯优化。

背景介绍

近年来深度神经网络大火，可是神经网络的超参(hyperparameters)选择一直是一个问题，因为大部分时候大家都是按照玄学指导手动调参，各位调参的同学也跟奇异博士一样算是master of mystic arts了。由于这个原因，贝叶斯优化(Bayesian Optimization，以下简称BO)开始被好多人用来调神经网络的超参，在这方面BO最大的优势是sample efficiency，也就是BO可以用非常少的步数(每一步可以想成用一组超参数来训练你的神经网络)就能找到比较好的超参数组合。另一个原因是BO不需要求导数(gradient)，而正好一般情况下神经网络超参的导数是求不出来的。这两个原因导致BO成为了如今世界上最好的调超参的方法(当然了我可能有粉丝滤镜)。

其实BO不是只能用来调超参的，因为他是一个非常general的gradient-free global optimization的方法，所以他的适用场景一般有两个特点：(1)需要优化的function计算起来非常费时费力，比如上面提到的神经网络的超参问题，每一次训练神经网络都是燃烧好多GPU的；(2)你要优化的function没有导数信息。所以如果你遇到的问题由以上两个特点的话直接闭着眼睛用BO就行了。当然了这么说还是有点太暴力了，因为有一些特殊的问题结构也会影响BO的效果，比如需要调的参数太多的话，或者参数里面有太多discrete parameter的话BO的效果都会受影响，当然了这两种场景也是BO目前的open problem之二。

贝叶斯优化算法

BO算法理解起来其实非常简单。比如我们要优化的function是

，其中的domain

一般是compact的，也有一些paper为了简便会assume

是discrete的。然后假设我们要解决的优化问题是

。

BO是一个sequential decision-making problem，也就是我们有好多iterations。在每一个iteration

，我们选一个输入

(比如我们选一组神经网络的超参)，然后我们用选择的

来看对应的function 的值

(比如这一组超参对应的神经网络的validation accuracy)；可是大多数情况下我们都只能观测到一个有噪声的值，也就是我们观测到的是

，其中 是一个zero-mean Gaussian distribution：

， 是noise variance。然后呢，我们把新观测到的这组值

加到我们所有的观测到的数据里面，然后进行下一个iteration

。

这时候长得好看的同学可能看出来了，BO问题的核心是在每一个iteration里面如何选择我要观测哪一个

。在BO里面

是通过优化另一个function来选择的：acquisition function

；也就是

。长得好看的同学可能又发现了，我们这是把一个优化问题替换成了好多个优化问题，所以这个acquisition function必须是优化起来非常非常容易才行。另外在设计这个acquisition function的时候最重要的一点是他要做好一个balance，这就引出了传说中的exploration-exploitation trade-off：在选下一个点

的时候，我们既想要去尝试那些我们之前没有尝试过的区域的点(exploration)，又想要去选择根据我们目前已经观测到的所有点预测的 的值比较大的点(exploitation)。为了能很好地balance这两点，对于domain里面任意一个点 ，我们既需要预测对应的

的值(为了exploitation)，又需要知道对应的

的uncertainty(为了exploration)。这时候最合适的模型已经呼之欲出了：Gaussian Process(GP)。

关于GP在这里就不详细介绍了，知乎上有不少好文章大家可以去复习一下。在这里大家需要知道的是，假设现在我们已经跑完了 个BO的iteration，也就是我们现在手里的数据是

，那么我们根据GP的预测，整个domain里面任意一点 对应的

的值服从一维高斯分布，而且对应的posterior mean和posterior variance可以写成closed-form。GP的公式在这里就不重复了，我们就把对应的mean和variance表示成

和

，他们两个可以分别理解为用来做exploitation和exploration的信息。这个应该不难理解，因为预测的posterior mean就相当于我们预测的

的值，然后posterior variance就相当于我们对于

的uncertainty。现在呢，上面提到的acquisition function

就可以通过

和

计算出来了。目前常用的acquisition function有以下几种：

Gaussian Process-Upper Confidence Bound (GP-UCB):

Expected Improvement (EI):

(Predictive) Entropy Search:

[未完待续]

贝叶斯优化的理论

贝叶斯优化的研究前沿

结论