凸优化第九章无约束优化 9.4最速下降方法
9.4最速下降方法
对f(x+v)在x处进行一阶Taylor展开:
其中是f在x处沿方向v的方向导数
令是上的任意番薯,顶一个规范化的最速下降方向:
一个规范化的最速下降方向是一个能使f的线性近似下降最多的具有单位范数的步径。
也可以将规范化的最速下降方向乘以一个特殊的比例因子,从而考虑下述非规范化的最速下降方向:
其中表示对偶范数。对于这种最速下降步径,有:
不同范数下的最速下降方法
采用Euclid范数的最速下降方法
此时最速下降方向就负梯度方向,也就是梯度下降方法。
采用二次范数的最速下降方法
考虑二次范数
其中。此时规范化的最速下降方向:
对偶范数。因此在二次范数下的最速下降步径为:
基于坐标变换的解释
对于最速下降方向,还有另一种解释:即对原问题进行某种坐标变换后的梯度下降方向。
定义,于是,采用这种坐标变换,原目标函数f的极小化问题可以等价为极小化下式给出的目标函数。此时采用梯度下降方法优化,在点处的直线搜索方向为:
而对应于原变量x的直线搜索方向:
也就是说在二次范数下的最速下降方向,可以理解为对原问题进行最标编号后的梯度方向。
范数下的最速下降方向
范数下的最速下降方向:,其中表示第i个标准基向量。可以理解为每次得到一个梯度,这个梯度中有不同的分量,每个分量有不同的大小,每次都选择值最大的那个分量的方向来更新。
最速下降方向的范数选择
如上图是两个同一个问题不同的范数下的得到的迭代过程,可以看出左图范数下,收敛速度快,这是因为当考虑坐标变换的时候,最速下降法变成了梯度下降方法,而在这种变换下,下水平集的条件数被减小了,而梯度下降方法的收敛速度与下水平集的条件数有关,条件数减少了收敛速度也就快了,而右图收敛速度慢,是因为在这种坐标变换下,下水平集的条件数增多了。
凸优化第九章无约束优化 9.4最速下降方法相关推荐
- 【ML】第九章 无监督学习技术
- 最优化作业第6章——无约束多维非线性规划方法
代码: #导入模块 from sympy import * import sympy as sp #将导入的模块重新定义一个名字以便后续的程序进行使用 from numpy import * impo ...
- 图解HTTP笔记之第九章:HTTP瓶颈以及解决方法之websocket
HTTP瓶颈以及解决方法之websocket HTTP的瓶颈就是:HTTP协议的性能受到限制,web页面加载时间过长,实时更新大量的数据无法妥善处理,但由于全球已经有很多的浏 览器都是基于HTTP协议 ...
- 《实用机器学习》(孙亮 黄倩.著)笔记——第七章 无矩阵分解的基准方法
bui表示基准算法对于评价rui的预测,bu和bi分别是用户u和商品i各自对应的偏差,μ是所有评价的平均值 在推荐问题中引入损失函数,通过最小化损失函数,得到参数的最佳估计值,这里采用平方和损失函数: ...
- 《凸优化》中科大-讲解 -系列笔记(汇总55/55)
本人学习所有系列:汇总帖 这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
- 详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
- 中科大凸优化P1P2 Chapter1 Introduction
推荐一个别人做的笔记: P1&P2. (相关知识:数学规划) 1.凸优化形式: $\min\limits_x\ f_o(x )\quad subject\ to \ f_i \le b_i $ ...
- 文献翻译__人工智能时代医学图像重建中的凸优化算法(第4、5、6章)
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...
- (数据库系统概论|王珊)第九章关系查询处理和关系优化-第三节:查询优化之代数优化
注意: 关系代数有关符号,大家可能又不熟悉了,点击跳转:(数据库系统概论|王珊)第二章关系数据库-第四节:关系代数 文章目录 一:关系代数表达式等价变换规则 (1)连接.笛卡尔积.并.交的交换律 (2 ...
- 凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型 我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
最新文章
- Java基础 - 面向对象 - 构造方法
- oracle远程物化视图
- JAVA编程经验汇总 (载)
- 浏览器返回错误汇总分析
- SqlServer用SQL语句将查出的数据直接插入到另一个张的表中
- 用栈实现队列(Leetcode第232题)+用队列实现栈(Leetcode第225题)
- appearance—外观样式属性
- MATLAB 随机过程基本理论
- 专访蒋彪:JavaEE是企业级开发首选
- [WCF编程]10.操作:请求/应答操作
- 【单片机仿真】(一)Proteus8.9 安装教程
- 复活唐音,是一味怎样的菜?
- html页面使用地图,前端PC端使用地图步骤(高德)
- Cannot find current proxy: Set ‘exposeProxy‘ property on Advised to ‘true‘ to make it available
- 理解statsmodels中OLS对应基金alpha、beta、R-squared
- Windows下搭建局域网内简易git服务器
- 在ssd上win10和linux双系统,windows 10 ssd ubuntu hdd双系统
- android media rw,Android中的“/ storage/udisk/sda4 /”和“/ mnt/media_rw/udisk/sda4 /”有什么区别?...
- 谷歌:昔日屠龙者正在成为“恶龙”?
- 制冷与空调作业题库及答案