机器之心报道

参与：魔王、杜伟、小舟

授权转载自公众号机器之心

仅使用基础数学运算就能自动搜索机器学习算法？谷歌 Quoc V. Le 等人提出了 AutoML-Zero 方法。

AutoML-Zero 旨在通过从空程序或随机程序开始，仅使用基础数学运算，来自动发现能够解决机器学习任务的计算机程序。其目标是同时搜索 ML 算法的所有属性，包括模型结构和学习策略，同时将人类偏见最小化。

近来，机器学习（ML）取得了显著的成功，这要归功于深度神经网络等 ML 算法。与此同时，这一领域研究中遇到的困难又催生了 AutoML，AutoML 旨在实现 ML 算法的自动化设计。

目前，AutoML 主要通过结合复杂的手动设计组件来开发解决方案。神经架构搜索就是一个典型的示例，在这个子域中，研究人员基于复杂层（如卷积、批归一化和 dropout）来自动构建神经网络。

在 AutoML 中使用这些手动设计组件的另一种方法是从零开始搜索完整的算法。这种方法具有一定的难度，因为它需要探索大型且稀疏的搜索空间。但同时，这种方法也具有巨大的潜在益处，它不会偏向于我们已经了解的东西，并且有可能发现新的、更好的 ML 架构。

从零开始学习算法的早期研究主要聚焦算法的一个方面（如学习规则），以减少搜索空间和计算量。但自 20 世纪 90 年代后这类研究逐渐冷门，直到现在才重新得到重视。

2018 年 3 月，谷歌大脑团队即进行相关研究，使用进化的 AutoML 来发现神经网络架构。如今，谷歌将这项研究进一步扩展，证明从零开始进化 ML 算法是有可能的。相关研究被 ICML 2020 接收，这项研究出自谷歌大脑团队 Quoc V. Le 等学者之手。

• 论文链接：https://arxiv.org/pdf/2003.03384.pdf

• GitHub 项目地址：https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero

在这项研究中，谷歌提出了新方法 AutoML-Zero，该方法从空程序（empty program）开始，仅使用基本的数学运算作为构造块，使用进化方法来自动找出完整 ML 算法的代码。

在一些小的图像分类问题上，AutoML-Zero 方法重新发现了一些基本的 ML 技巧，如具备反向传播的双层神经网络和线性回归等，而这些是之前的研究人员经过数年时间才发现的。

这一结果表明，自动发现更新颖的 ML 算法以解决更棘手的问题，这一想法在未来是可行的。

接下来，我们来看 AutoML-Zero 方法的具体实现原理。

从零开始进化学习算法

谷歌使用经典进化方法的变体「正则化进化搜索方法」来搜索算法空间。这些方法被证明在发现计算机程序方面很有效，其简洁性和可扩展性使得它们非常适合发现学习算法。

正则化进化搜索方法中的 cycle。

在这项研究中，谷歌团队使用空程序对群体进行初始化，然后不断重复循环来生成更好的学习算法。

在每一次循环中，两个（或更多）随机模型展开竞争，最准确的模型成为「parent」。之后 parent 模型复制自己得到变异了的子模型，即子模型的代码以随机形式进行了修改，例如任意插入、移除或修改一行代码。

接下来，研究人员在图像分类任务上评估变异后的算法。

整个过程如下图所示：

使用空程序对群体进行初始化。经过多代后，得到进化后的群体。其中两个算法进行竞争，最准确的一个获胜并生成子模型。经过多次迭代后，最终的群体包含高度准确的分类器。

探索有难度的搜索空间

与之前的 AutoML 工作不同，AutoML-Zero 的搜索空间非常稀疏：准确算法的比例大约是 1：1012。原因在于算法构造块的细粒度，它仅包含基础运算，如变量赋值、加和矩阵相乘。在这样的环境下，随机搜索无法在合理时间内找到解，然而进化的速度提升了数万倍。

谷歌研究者将搜索分配到多个机器上，并构建了多个小型分类任务以评估每个子算法。此类评估使用高度优化的代码执行。

尽管搜索空间稀疏，但随着时间的推移，进化搜索也能发现更复杂和有效的技术。

最开始进化搜索发现的是最简单的算法——具备硬编码权重的线性模型。经过一段时间后，随机梯度下降（SGD）被创造出来学习权重，尽管梯度本身还没有作为构造块。一开始 SGD 存在一些缺陷，但它很快就进行了迭代修复，并开始了对预测和学习算法的一系列改进。

在谷歌的实验案例中，这一搜索过程发现了一些已有的有用概念。最后，该方法构建的模型优于具有类似复杂性的手动设计模型。

进化实验的流程。从左到右按时间顺序，谷歌研究者发现算法变得越来越复杂，也越来越准确。

进化后的算法

上图描述了由该方法生成的最佳进化算法。最终得到的算法包含了多项技术，如将噪声注入作为数据增强方式、双线性模型、梯度归一化和加权平均等。对基线的改进也可以迁移到搜索中未用到的数据集。

谷歌在论文中介绍了进化后代码的不同行对这些技术的实现，并通过控制变量研究验证了它们的价值。

通过更多的实验，研究者发现，控制进化过程评估算法适用性的任务能够指导进化搜索。

例如，当数据量减少时，noisy ReLU 就会出现。当训练步骤减少时，学习率有所衰减，从而加快收敛速度。

这类有针对性的发现很重要。自动发明工具的机器造出锤子或针是件很有趣的事，但是如果它能在你展示钉子后造出锤子，展示线后造出针，这不是更有趣吗？

这就像刚才提到的，当数据量较少时（「钉子」），noisy ReLU 出现（「锤子」）；当训练步骤减少时（「线」），学习率出现下降（「针」）。

结论

谷歌这项研究还比较初级，尚未进化出新的算法。但是进化后得到的算法能够超越搜索空间中存在的简单神经网络，这一点已经足够振奋人心。目前，搜索进程需要大量计算。未来几年，随着硬件设备的发展，搜索方法变得更加高效，搜索结果或许会有所改进。

原文链接：https://ai.googleblog.com/2020/07/automl-zero-evolving-code-that-learns.html