最优化算法

背景

通过公式生成ADF之后，根据下层函数库的配置，在结构不变的情形下，ADF是可以通过一系列值在0-1之间的参数进行调节的。也即ADF可表示为固定维数n的实数集，因此需要解决的问题就是在给定的目标下，求一组使目标值最大的参数。

max(f(x0,x1,x2,x3,...,xn)),xi∈[0,1]

由于架构本身并不知道ADF运行的函数实现，因此目标函数是完全未知的，无法用梯度下降/牛顿迭代法等处理，更不用说线性规划的那些解法了。

这时候可选择的，就是穷举法或启发式算法。

最优化算法

穷举——网格搜索

学过支持向量机SVM的人应该都瞄过这个算法，是用来优化RBF核中的两个参数的。
很简单的一个算法，设定精度，n层for循环穷举所有的参数值即可。
直接写段代码说明吧：

//精度设为0.001，两个参数
double maxP = 0.0;
double max_x0 = -1;
double max_x1 = -1;
for (double x0=0.0; x0<=1.0; x0+=0.001)
{for (double x1=0.0; x1<=1.0; x1+=0.001){double currentP = f(x0, x1);if (currentP > maxP){maxP = currentP;max_x0 = x0;max_x1 = x1;}}
}

在具体实现时，由于n是可变的，不能直接写n个for循环，需要用一个进位算法实现，不详述。

全随机——蒙特卡洛算法

完全随机地取若干组参数值，然后取其中最大的一组。

Renascence架构原理——最优化算法相关推荐

Renascence架构原理——遗传规划算法
遗传规划算法遗传规划算法请先看一下遗传算法: http://blog.csdn.net/v_JULY_v/article/details/6132775 遗传规划/遗传编程(Genetic Pro ...
计算机原理与编程设计,最优化计算机原理与算法程序设计
最优化计算机原理与算法程序设计语音编辑锁定讨论上传视频 <最优化计算机原理与算法程序设计>是湖南国防科技大学出版社出版的图书,作者是粟塔山等. 作者粟塔山等编著 ISB ...
一篇读懂分布式架构下的负载均衡技术：分类、原理、算法、常见方案等
1.引言关于"负载均衡"的解释,百度词条里:负载均衡,英文叫Load Balance,意思就是将请求或者数据分摊到多个操作单元上进行执行,共同完成工作任务. 负载均衡(Load ...
CV：计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念)、早期/中期/近期应用领域(偏具体应用)、经典CNN架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装、常用数据集、编程技巧
CV:计算机视觉技最强学习路线之CV简介(传统视觉技术/相关概念).早期/中期/近期应用领域(偏具体应用).经典CNN架构(偏具体算法)概述.常用工具/库/框架/产品.环境安装.常用数据集.编程技巧 ...
Tomcat 架构原理解析到架构设计借鉴
‍ 点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 Tomcat 架构原理解析到架构设计借鉴 Tomcat 发展这 ...
倒排索引原理_拜托，面试请不要再问我分布式搜索引擎的架构原理！
欢迎关注头条号:石杉的架构笔记周一至周五早八点半!精品技术文章准时送上!!! 精品学习资料获取通道,参见文末目录 (1)倒排索引到底是啥? (2)什么叫分布式搜索引擎? (3)ElasticSea ...
机器学习中的最优化算法总结
https://www.toutiao.com/a6672189997212238348/ 导言对于几乎所有机器学习算法,无论是有监督学习.无监督学习,还是强化学习,最后一般都归结为求解最优化问题. ...
Tomcat 架构原理到架构设计，写得非常好！
Tomcat 架构原理解析到架构设计借鉴 Tomcat 发展这么多年,已经比较成熟稳定.在如今『追新求快』的时代,Tomcat 作为 Java Web 开发必备的工具似乎变成了『熟悉的陌生人』,难道说 ...
NeurIPS 2018 | 腾讯AI Lab详解3大热点：模型压缩、机器学习及最优化算法
导读:AI领域顶会NeurIPS正在加拿大蒙特利尔举办.本文针对实验室关注的几个研究热点,模型压缩.自动机器学习.机器学习与最优化算法,选取23篇会议上入选的重点论文进行分析解读,与大家分享.Enjo ...

Renascence架构原理——最优化算法

最优化算法

背景

最优化算法

穷举——网格搜索

全随机——蒙特卡洛算法

Renascence架构原理——最优化算法相关推荐

最新文章

热门文章