凸优化第九章无约束优化 9.2下降方法
9.2下降方法
下降方法将产生一个优化点列其中,且。是一个向量表示步径或搜索方向。标量被称为第k次迭代的步长。
方法的思想:只有不是最优解,就找一个比更好的点。
由目标函数凸性可知(一阶特征),可知时,,于是可知,而在下降方法中显然,而且要求,故下降方法中的搜索方向必须满足,即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。
下降方法:确定下降方向,然后选择步长t,其一般框架如下:
给定初始点
重复执行
- 确定下降方向
- 直线搜索:选择步长
- 修改:
直到终止条件被满足
搜索方法类型
精确直线搜索
通过沿着射线优化f而确定t值:
如果此问题的求解成本低于计算搜索方向的成本,则问比较适合用精确直线搜索。
回溯直线搜索
一种非精确直线搜索方法:沿着射线近似优化f而确定t值,即只有f有“足够的”的减少即可
算法:
- 给定f在处的下降方向,参数
- t:=1
- 如果,令
由于是下降方向,,所以只要t足够小,
凸优化第九章无约束优化 9.2下降方法相关推荐
- 【ML】第九章 无监督学习技术
- 最优化作业第6章——无约束多维非线性规划方法
代码: #导入模块 from sympy import * import sympy as sp #将导入的模块重新定义一个名字以便后续的程序进行使用 from numpy import * impo ...
- 图解HTTP笔记之第九章:HTTP瓶颈以及解决方法之websocket
HTTP瓶颈以及解决方法之websocket HTTP的瓶颈就是:HTTP协议的性能受到限制,web页面加载时间过长,实时更新大量的数据无法妥善处理,但由于全球已经有很多的浏 览器都是基于HTTP协议 ...
- 《实用机器学习》(孙亮 黄倩.著)笔记——第七章 无矩阵分解的基准方法
bui表示基准算法对于评价rui的预测,bu和bi分别是用户u和商品i各自对应的偏差,μ是所有评价的平均值 在推荐问题中引入损失函数,通过最小化损失函数,得到参数的最佳估计值,这里采用平方和损失函数: ...
- 《凸优化》中科大-讲解 -系列笔记(汇总55/55)
本人学习所有系列:汇总帖 这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
- 详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
- 中科大凸优化P1P2 Chapter1 Introduction
推荐一个别人做的笔记: P1&P2. (相关知识:数学规划) 1.凸优化形式: $\min\limits_x\ f_o(x )\quad subject\ to \ f_i \le b_i $ ...
- 文献翻译__人工智能时代医学图像重建中的凸优化算法(第4、5、6章)
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...
- (数据库系统概论|王珊)第九章关系查询处理和关系优化-第三节:查询优化之代数优化
注意: 关系代数有关符号,大家可能又不熟悉了,点击跳转:(数据库系统概论|王珊)第二章关系数据库-第四节:关系代数 文章目录 一:关系代数表达式等价变换规则 (1)连接.笛卡尔积.并.交的交换律 (2 ...
- 凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型 我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
最新文章
- DotNetBar12.1新控件——TokenEditor
- 聊天机器人有了长期记忆,遇到不懂的还能上网搜索,网友:像极了不懂装懂时偷偷百度的我...
- 怎样设置java home_如何在Windows 7上设置java_HOME?
- 洛谷 2953 [USACO09OPEN]牛的数字游戏Cow Digit Game
- MATLAB与图像处理(四):将图片序列转化为视频文件,将视频文件转化为图片
- 毕业设计开题计算机进度安排表,关于2021届本科毕业设计选题情况及开题时间的通知...
- QT 之 TCP/IP 服务器和客户端(一)
- jdeveloper_JDeveloper中的Java反编译器
- SharePoint2010开发最佳实践
- java string查找_查找输出程序(Java String类)
- 验证码_12306验证码很难吗?2020年最新的Python验证码模块开源
- Java 多线程 4:wait() 和 notify()/notifyAll()
- c语言迷宫源码,C语言迷宫源代码
- 状态机finite-state machine学习笔记1
- 核方法也称为核技巧(Kernel method)
- Java之约瑟夫环问题
- C++如何检查浮点数是否为整数
- bastion host - 堡垒主机 / 跳板机
- 如何用python 炒股赚钱_教程 | 如何用Python和机器学习炒股赚钱?
- VIAVI唯亚威光纤高分辨率多模 OTDR 测试方案
热门文章
- :layout_gravity gravity
- NotifyIcon实现托盘程序
- ORACLE RMAN备份--差异增量与累积增量的策略实例图
- Oracle PL/SQL中使用%TYPE和%ROWTYPE的方法
- SpringBoot动漫弹幕网站 cartoon.liuyanzhao.com
- 百度谷歌雅虎搜狗提交链接入口
- 蓝桥杯-----十六进制转八进制
- oracle转类型sql,[转]SQL Server 和Oracle 数据类型对应
- nyoj 122 Triangular Sums
- html链接描述,HTML常用文本标记,超级链接和路径描述