技术干货| 详解AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军算法—

异方差演化贝叶斯优化（Heteroscedastic evolutionary bayesian optimisation, HEBO）算法是华为诺亚实验室提出的优化算法框架。该算法击败NVIDIA，IBM等赢得了AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军（https://bbochallenge.com/leaderboard）。该算法提出了对代理模型和最大化获取函数的非常规修改，并显示了这种组合优于Bayesmark包提供的所有基线。

黑盒优化算法

黑盒优化问题中的目标函数的表达式未知，只能根据离散的自变量取值得到对应的目标函数值来更新取值。除了AutoML和超参数优化以外，黑盒优化在分子设计、材料科学、电厂调试、数据中心冷却、芯片设计等问题上也有着大量应用。

一般黑盒优化算法需要经过特定步骤实现优化迭代过程，如下图所示：

黑盒优化最关键的问题

在研究过程中，研究者发现黑盒优化中最关键的两个问题是：

在步骤1拟合代理模型阶段，通常会用高斯模型来作为代理模型，首先获得输入数据集，假设一个高斯模型为代理模型，用数据去拟合这个代理模型，如下图所示：

但是输入的数据通常是具有噪声的，不符合高斯分布。

在步骤2最大化采集函数阶段，贝叶斯优化中通用的采集函数有EI（Expected Improvement）、PI（Probability of improvement）、UCB（Upper Confidence Bound），采集函数如下图所示：

他们都能帮助下一步在黑盒函数中评估哪些点，但是目前还不清楚在不同任务时哪个最有效，那如何根据不同的任务选择采集函数。

HEBO解决优化的关键问题

为了解决问题一，HEBO在采用贝叶斯优化中常用的高斯过程模型（Gaussian process, GP）作为代理模型的同时，还解决非平稳目标问题，引入输入扭曲以及power变换。

对每个输入使用Kumaraswamy分布的累积分布函数，公式和效果图如下所示下图所示：

对输出的变量使用power变换，使得输出的数据更好地近似于高斯分布，公式和效果图如下图所示：

为了解决问题二，研究者提出了MACE（Multi-objective ACquisition function Ensemble），将贝叶斯优化中通用的EI、PI、UCB采集函数进行聚合，在这三种采集函数的帕累托前沿上进行采样，一方面避免单一采集函数的通用性问题，另一方面支持并行探索。如下图所示：

HEBO相对于以前最先进的TuRBO（发表于NeurIPS 2019）算法分数提高了5.17%，是与前5名竞争对手之间差异最大的算法，所以它以非常大的优势获胜。下面是比赛结果的截图：

目前HEBO-MindSpore已经在github上开源：

https://github.com/huawei-noah/noah-research/tree/mindspore/HEBO_mindspore

也可以直接在pypi网站下载安装：

https://pypi.org/project/HEBO-mindspore/

你可以在这里下载文章链接：

https://arxiv.org/abs/2012.03826

MindSpore官方资料

官方QQ群 : 486831414

官网：https://www.mindspore.cn/

Gitee : https : //gitee.com/mindspore/mindspore

GitHub : https://github.com/mindspore-ai/mindspore

论坛：https://bbs.huaweicloud.com/forum/forum-1076-1.html

技术干货| 详解AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军算法——HEBO算法相关推荐

【新智元3·29峰会嘉宾曝光】诺奖评审x技术领袖详解AI产业跃迁路线图
邓中翰院士领衔,众"芯"云集,激论新一代AI芯格局 2018年,AI芯片继续走热.2月,谷歌重拳开放Cloud TPU,ResNet-50和Transformer训练时间从大半天下 ...
【干货】PMcaff干货课程学习精彩分享：Apple Watch 技术特性详解
昨天PMcaff给大家推荐了Apple Watch的发布会,好多小伙伴们在后台留言,所以PMcaff小咖今天给大家找来一篇干货,看完感觉还不错,在这里分享给大家. 作为苹果主推的智能穿戴产品,Appl ...
【百度联盟峰会】李彦宏详解AI时代思维方式，算法驱动的降维攻击
[百度联盟峰会]李彦宏详解AI时代思维方式,算法驱动的降维攻击新智元 2017-05-23 14:51:52 李彦宏手机百度阅读(20879) 评论(19) 新智元报道来源:百度 [新 ...
[Python从零到壹] 九.网络爬虫之Selenium基础技术万字详解（定位元素、常用方法、键盘鼠标操作）
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
nmos导通流向_技术参数详解，MOS管知识最全收录！
原标题:技术参数详解,MOS管知识最全收录! MOS管,即金属(Metal)-氧化物(Oxide)-半导体(Semiconductor)场效应晶体管,是一种应用场效应原理工作的半导体器件:和普通双极型 ...
阿里 AI 研究成果入选国际顶会 ICML 2020，AI 推理速度提升 3 倍
近日,人工智能国际顶会ICML 2020公布了论文收录结果,阿里巴巴7篇论文入选,是入选论文数量最多的中国科技公司.ICML是机器学习领域全球最具影响力的学术会议之一,今年接受率仅为21.8%. 根据 ...
干货|详解最新语音识别框架深度全序列卷积神经网络
原标题:干货|详解最新语音识别框架深度全序列卷积神经网络导读:目前最好的语音识别系统采用双向长短时记忆网络(LSTM,LongShort Term Memory),但是,这一系统存在训练复杂度高. ...
计算机三级网络技术考试详解
计算机三级网络技术考试详解选择题(40) 1 问传输速度 (ITU -T) 2 求交换机带宽 3 系统可用性与停机时间 4 写地 ...
Java程序员进阶必读，最全微服务架构技术点详解来啦
前言微服务作为这个互联网时代最火的技术之一,想必大家即使没有学习过也有所了解,它提倡将单一应用程序划分成一组小的服务,服务之间相互协调.互相配合,为用户提供最终价值.每个服务运行在其独立的进程中,服 ...

技术干货| 详解AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军算法——HEBO算法

技术干货| 详解AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军算法——HEBO算法相关推荐

最新文章

热门文章