论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比

陈述：就是想看一下贝叶斯学派的陈述，从不同的学派的对比，看看有什么优缺点，然后自己思考下。

摘要：

通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函数评估即可获得理想解。

引言：

1.首先举例子说明具体的设计类问题

2.叙述大数据背景，优化数据均在的各种特性

3. 说明贝叶斯优化在各中不同行业的别名，以及具体的应用场景

贝叶斯优化(Bayesian Optimization,简称 BO)是一个有效的解决方法[1].贝叶斯优化在不同的领域也称作序贯克里金优化(Sequential Kriging Optimization,简称 SKO)、基于模型的序贯优化(Sequential Model-Based Optimization,简称 SMBO)、高效全局优化(Efficient Global Optimization,简称EGO).该方法是一种基于模型的序贯优化III方法,能够在很少的评估代价下得到一个近似最优解.贝叶斯优化已经应用于网页[2,3,4]、游戏[5]和材料设计[6]、推荐系统[7,8]、用户界面交互[9,10]、机器人步态[11]、导航[12]和嵌入式学习系统[13]、环境监控[14]、组合优化[15,16]、自动机器学习[17,18,19,20,21,22]、传感器网络[23,24]等领域

贝叶斯优化

贝叶斯优化是一个十分有效的全局优化算法,目标是找到(全局最优解.根据对未知目标函数 f 获取的信息,找到下一个评估位置,使得最快地达到最优解[26].例如:若已经评估得到三个不同输入 x1、x2、x3 的目标函数值 y1、y2、y3,则如何选择下一个评估点?贝叶斯优化框架能够在少数次评估下得到复杂目标函数的最优解,

本质上因为贝叶斯优化框架使用代理模型拟合真实目标函数,并根据拟合结果主动选择最有“潜力”的评估点进行评估,避免不必要的采样,因此贝叶斯优化也称作主动优化(active optimization).同时,贝叶斯优化框架能够有效利用完整的历史信息来提高搜索效率

贝叶斯定律：

与无模型（model-free）优化算法的对比作者论文中的陈述：

（1）贝叶斯优化通过主动选择策略来确定下一个最有“潜力”的评估点.相比无模型优化方法的随机跳转或邻域搜索策略,主动选择策略利用历史信息和不确定性,通过最大化根据模型后验分布构造的采集函数,能够有效地平衡宽度搜索(探索不确定性区域获取更多未知信息)与深度搜索(利用已有信息寻找当前最优)之间的关系,从而减少不必要的目标函数评估。

（2）无模型关注于求解效率（这个我是不明白，我只知道进化算法关注于精度，速度）贝叶斯更侧重于减少评估代价（实际的应用中，评估代价有些是可以缩减的吗？，怎么理解？）保证其能够仅经过少数次目标函数评估就可得到最优解。

陈述：贝叶斯的局限性：

（1)无模型优化算法不需要考虑模型更新问题,而贝叶斯优化在更新概率代理模型时需要高昂的计算开销.如:使用高斯过程代理黑箱函数时,模型更新的时间复杂度为立方阶.

（2）相比无模型的优化方法,贝叶斯优化需要谨慎地选择模型和先验.使用贝叶斯方法解决具体问题时,需要根据问题背景和专家知识选择合适的概率模型来代理黑箱函数.为贝叶斯优化选择合适的概率代理模型甚至比选择恰当的采集函数更为重要.目前,还不存在一种通用的方法为贝叶斯优化选择合适的代理模型和先验分布,都是采取具体问题具体分析的策略

作者的表--------这个有根据吗？我读这个表中的叙述，什么样的所谓先验知识？（PSO中的pbest不算？）

感悟：

阅读到这里的时候就觉得作者写的很好，陈述的都很连贯。然而就是觉的对进化计算的优缺点陈述哪里，以及表对比哪里觉得有些不可思议啊

进化计算不需要模型不需要进行辅助，是需要进行多次的迭代，但算法关注收敛速度，也不是毫无顾忌的“迭代次数无下限”，还有对表里面的我没有见过也不懂，就是觉得看结果对比那么多劣势，质疑。而且我个人觉的贝叶斯中的主动选择策略，在进化计算中应该是可以达到的吧，也可以最为改进的方向，就是慢慢的看，主动选择的概念，以及操作喽。

论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比相关推荐

贝叶斯优化方法和应用综述
贝叶斯优化方法和应用综述各类优化算法入门优秀论文总结目录 1.摘要设计类问题在科学研究和工业领域无处不在.作为一种十分有效的全局优化算法,近年来,贝叶斯优化方法在设计类问题上被广泛应用.通过设计恰 ...
【MIT港科大】最新《贝叶斯深度学习》2020综述论文，35页pdf全面阐述最新进展...
来源:专知来自MIT和香港科技大学的学者最新<贝叶斯深度学习>综述论文,值得关注! 地址: https://www.zhuanzhi.ai/paper/9b781282204cb581a ...
贝叶斯推断方法 —— 从经验知识到推断未知
贝叶斯推断方法 -- 从经验知识到推断未知机器学习基础算法python代码实现可参考:zlxy9892/ml_code 1 什么是贝叶斯在机器学习领域,通常将监督学习 (supervised ...
贝叶斯线性回归方法的解释和优点
本文对比了频率线性回归和贝叶斯线性回归两种方法,并对后者进行了详细的介绍,分析了贝叶斯线性回归的优点和直观特征. 我认为贝叶斯学派和频率学派之间的纷争是「可远观而不可亵玩」的学术争论之一.与其热衷于站 ...
ctr 平滑_CTR预估中的贝叶斯平滑方法及其代码实现
我们假设事件的发生并不是相互独立的,相反,在层级结构中相对比较靠近的两个事件的相关性要大于距离较远的两个事件,它们之间拥有很多共通之处.于是,我们便可以利用"相似"事件的信息来丰富 ...
朴素贝叶斯模型多元伯努利事件模型+多项式事件模型 Multi-Variate Bernoulli Event Model and Multinomial Event Model
朴素贝叶斯模型(Naïve Bayes Models): 适用于离散分布的朴素贝叶斯模型是个概率模型.生成式模型.广泛用于文本分类,自然语言处理和模式识别. 生成式和判别式模型区别: 贝叶斯公式如下: ...
贝叶斯优化优秀论文总结目录
持续更新中,论文均来自该领域的优秀会议或期刊,涉及的领域主要是贝叶斯优化,离散贝叶斯优化.本人才疏学浅,若读者发现有不对的地方,欢迎留言评论指正. Bayesian optimization 标题发 ...
贝叶斯优化与高斯过程
贝叶斯方法常用于当前大数据应用中的复杂设计优化场景,如选择恰当的算法优化系统性能.工程传感器的点位部署等,这些场景具有多峰.非凸.黑箱.决策空间巨大和目标函数表达不明确等问题,在机器学习模型的设计中, ...

论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比

论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比相关推荐

最新文章

热门文章

论文： 贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比

论文： 贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比相关推荐

最新文章

热门文章

论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比

论文：贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比相关推荐