贝叶斯优化算法（Bayesian optimiazation）
贝叶斯优化算法（Bayesian optimiazation）：
应用：超参数调优、贝叶斯优化调参
主要思想：给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息，从而更好的调整当前的参数。
核心过程：先验函数(Prior Function,PF)与采集函数(Acquisition Function,AC)，采集函数也可以叫效能函数(Utility Funtcion)，但一般还是称呼为采集函数。PF主要利用高斯过程回归(也可以是其它PF函数，但高斯过程回归用的多)；AC主要包括EI，PI，UCB这几种方法，同时exploration与exploitation的平衡，也是通过AC来完成的。
探索(exploration)：简单来说就是尽量选择远离已知点的点为下一次用于迭代的参考点，即尽量探索未知的区域，点的分布会尽可能的平均。
利用(exploitation)：简单来说就是尽量选择靠近已知点的点为下一次用于迭代的参考点，即尽量挖掘已知点周围的点，点的分布会出现一个密集区域，容易进入局部最大。
常用的超参数调参的方法有：网格搜索，随机搜索
网格搜索是应用最广泛的超参数搜索算法，网格搜索通过查找搜索范围内的所有的点，来确定最优值。一般通过给出较大的搜索范围以及较小的步长，网格搜索是一定可以找到全局最大值或最小值的。但是，网格搜索一个比较大的问题是，它十分消耗计算资源，特别是需要调优的超参数比较多的时候。（网格搜索就相当于穷举法）
与网格搜索相比，随机搜索并未尝试所有参数值，而是从指定的分布中采样固定数量的参数设置。它的理论依据是，如果随即样本点集足够大，那么也可以找到全局的最大或最小值，或它们的近似值。通过对搜索范围的随机取样，随机搜索一般会比网格搜索要快一些。但是和网格搜索的快速版（非自动版）相似，结果也是没法保证的。
优缺点对比：
- 贝叶斯调参采用高斯过程，考虑之前的参数信息，不断地更新先验；网格搜索未考虑之前的参数信息。
- 贝叶斯调参迭代次数少，速度快；网格搜索速度慢,参数多时易导致维度爆炸。
- 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部最优。
- 和网格搜索相比，优点是迭代次数少(节省时间)，粒度可以到很小，缺点是不容易找到全局最优解。
应用举例：例如我们想调logistic回归的正则化超参数，就把黑箱函数设置成logistic回归，自变量为超参数，因变量为logistic回归在训练集准确度，设置一个可以接受的黑箱函数因变量取值，例如0.95，得到的超参数结果就是可以让logistic回归分类准确度超过0.95的一个超参数。也就是说你设置以下你想得到的精确度 他会给你推荐超参数取值。
贝叶斯优化算法（Bayesian optimiazation）相关推荐
- 贝叶斯优化算法python实例_贝叶斯优化/Bayesian Optimization
最近心情不好,写篇文章让大家开心一下吧.介绍一下世界上最好的算法:贝叶斯优化. 背景介绍 近年来深度神经网络大火,可是神经网络的超参(hyperparameters)选择一直是一个问题,因为大部分时候 ...
- python贝叶斯优化算法_自动调参——贝叶斯优化算法hyperopt
注:转载请注明出处. 本篇文章主要记录了贝叶斯优化算法hyperopt的学习笔记,如果想看自动化调参中的网格调参和遗传优化算法TPOT,请查看我另外两篇文章:网格搜索gridSearchCV和遗传优化 ...
- python贝叶斯优化算法_【干货】手把手教你Python实现自动贝叶斯调整超参数
[导读]机器学习中,调参是一项繁琐但至关重要的任务,因为它很大程度上影响了算法的性能.手动调参十分耗时,网格和随机搜索不需要人力,但需要很长的运行时间.因此,诞生了许多自动调整超参数的方法.贝叶斯优化 ...
- 《机器学习超参数调整利器》贝叶斯优化算法
1.贝叶斯优化算法思想 利用之前已经搜索点的信息确定下一个搜索点,用于求解维数不高的黑盒优化问题: 首先生成一个初始候选集合,然后根据这些点寻找下一个有可能是极值得点,将该点加入集合中,重复这一步骤, ...
- 超参数优化之贝叶斯优化（Bayesian Optimization)
文章目录 Ⅰ.Grid Search/Random Search Ⅱ.Bayesian Optimization Ⅰ.Grid Search/Random Search Grid Search:神经网 ...
- 关于贝叶斯网络算法(Bayesian networks)
一.简介 朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立).当这个条件成立时,朴素贝叶斯分类法的准确率是最高的,但不幸的是,现实中各个特征 ...
- 论文：贝叶斯优化算法和应用综述（２）－－概率模型和采集函数的介绍以及综述列表
声明:简单的罗列----- 文后续的章节:
- 贝叶斯优化 Bayesian Optimization
贝叶斯优化算法(BOA) 贝叶斯优化算法BOA 背景介绍 贝叶斯优化流程 形式化 算法流程 核心算法 Prior Function Acquisition Function 参考文献 背景介绍 当前的 ...
- 多任务进化优化算法(二) 多因子进化算法(MFEA)的理论基础、多任务贝叶斯优化以及MFEAII简介
摘要 此篇博客主要介绍了MFEA理论推导及其改进算法MFEA-II.在多任务优化的情景下,如果任务之间存在潜在关系,那么高质量的解在这些任务之间的转移可以显著提高算法的性能.然而有的时候缺乏关于任 ...
最新文章
- CN.Text开发笔记—利用反射将数据读入实体类
- 《企业云桌面实施》-小技巧-02-使用ISO光驱安装esxi6.5
- C语言试题六十之请编写函数fun，计算并输出下列级数和：s=1/1*2+1/2*3+…+1/n(n+1)
- python nodemcu_python开发nodemcu(一)
- 多线程启动定时器 会等待上一次执行完成?_Java多线程
- Spring MVC 起步
- vue-cropper 自定义旋转任意角度
- 前后端分离微服务管理系统项目实战SaaS-HRM项目(七)——POI报表入门
- jSignature网页手写签名
- ssh命令行使用明文密码连接远程服务器并执行命令
- 听完周杰伦的《Mojito》，我不禁想用分子料理做几颗
- ardupilot 关于设备车Rover的学习《3》------模式控制
- 如何知道计算机显卡内存,电脑显卡是什么 怎么查显卡显存【图文】
- luogu P5149 会议座位
- floating输入 高阻输入_按键怎么有那么多种接法，有的要电阻有的不用？实在搞糊涂了...
- 如何快速转载CSDN中的博客2018年针对最新csdn
- 【微电网优化】基于matlab粒子群算法求解微网经济调度和环境友好调度优化问题【含Matlab源码 2283期】
- 安天移动安全助力银行卡检测中心智能POS安全检测
- 【WINAPI】MessageBox细解（二）
- 【教程】制作能在ARM板上直接运行的gcc本地编译器