利用图笛卡斯积的组合贝叶斯优化

Combinatorial Bayesian Optimization using the Graph Cartesian Product

1.摘要

通常来说，在贝叶斯优化中的改进有三方面：1.代理模型（高斯过程，神经网络集） 2.获取函数 3.获取函数的优化（尤其是在离散问题中）。
本文的创新的地方在第1步。

本文主要研究了由有序变量或分类变量组成的组合搜索空间上的目标的贝叶斯优化(BO)。介绍了一种新的使用高斯过程(GP)的贝叶斯优化COMBO。它利用组合图来量化组合搜索空间上的目标函数的“平滑性”。组合图的顶点集由变量的所有可能的组合组成，而边是使用代表单个变量的子图的图笛卡尔积构造的。在这个组合图上，提出了一个ARD扩散核，其中GP能够建模变量之间的高阶交互作用，从而获得更好的性能。此外，利用Horseshoe先验在ARD扩散核中的尺度参数，得到了一个有效的变量选择过程，使组合适用于高维问题。
总结本文的贡献如下：
1.提出了COMBO,该算法利用组合图来衡量待优化函数的光滑性,组合图的顶点集由所有可能的变量的联合赋值组成,而边是使用代表单个变量的子图的图的笛卡尔积来构造的.
2.基于该图,提出了ARD扩散核函数,这使得GP能够建模变量之间的高阶相互作用
3.时间复杂度上,该算法可以通过Horseshoe prior线性增加,避免时间指数增加.

2.介绍

本文主要研究了由有序变量或分类变量组成的组合搜索空间上的目标的贝叶斯优化(BO)。组合BO有许多应用，包括寻找最优的芯片组配置，发现深度神经网络的最优体系结构，或优化编译器，以将软件最优地嵌入到硬件上。所有这些组合BO问题可能有用的应用程序都具有以下特性。1.不能使用基于梯度的优化器的黑盒目标函数2.有昂贵的评估程序，即不能使用基于进化或遗传的算法3.存在评估时有噪声和高度非线性的目标函数。
有趣的是，文献中大多数BO方法关注的是连续的，而不是组合搜索空间。其中之一是最成功的BO方法是建立在高斯过程(GPs)之上的。由于GP依赖于内核定义的平滑度来建模不确定性，它们最初是被提出的，并且主要用于连续输入空间。尽管在组合结构上提出了内核，迄今为止，图信号的平滑度与组合结构上定义的函数的平滑度之间的关系一直被忽略，也没有被利用于组合结构上的BO。一个简单的解决方案是使用连续的内核并将它们包围起来。然而，在下一轮优化的时候，这个信息不能在下一轮计算协方差的时候使用。
此外，当考虑组合搜索空间时，可能的配置的数量迅速爆炸：对于具有k个类别的M个分类变量，可能的组合的数量与O(kM)O(k^M)O(kM)相当。因此，在组合空间上应用BO和全科医生并不简单
我们提出了组合，一种新的组合BO，旨在解决上述在组合结构上缺乏平滑性和计算复杂度的问题。为了引入组合结构上的函数的光滑性，我们提出了组合图。组合图由每个分类（或顺序）变量一个的子图组成，然后由图笛卡尔积组合。该组合图包含了所有可能的组合选择作为顶点。我们使用图傅里叶变换(GFT)将组合结构上的函数的平滑性定义为图信号的平滑性.
具体来说，我们提出了图上扩散核(BOCS提出)的一种变体，即自动相关性确定(ARD)扩散核作为我们的GP核，其计算GFT是可以通过特征系统的分解来计算处理的。使用图上的GP，组合解释了变量之间的任意高阶交互作用。此外，在ARD参数组合上使用稀疏诱导Horseshoe先验[6]进行变量选择并扩展到高维。组合允许在组合搜索空间上实现精确、高效和大规模的BO。
作者原文创新点介绍：
First, we show how to introduce smoothness on combinatorial search spaces by introducing combinatorial graphs. On top of a combinatorial graph we define a kernel using the GFT. Second, we present an algorithm for Combinatorial BO that is computationally scalable to high dimensional problems. Third, we introduce individual scale parameters for each variable making the diffusion kernel more flexible. When adopting a sparsity inducing Horseshoe prior, COMBO performs variable selection which makes it scalable to high dimensional problems.

3.算法

作者认为：为了在组合结构上设计一种有效的基于GP的BO算法，需要一个由GP定义的光滑函数空间。
算法的总体框架如下：

未完待续

4.总结

据我们所知，COMBO是第一个使用适合于变量之间高阶复杂的交互问题的高斯过程作为代理模型的贝叶斯优化算法。COMBO是一个统计和计算可扩展的组合空间贝叶斯优化工具，这是一个尚未被广泛探索的领域。

返回贝叶斯优化优秀论文总结目录