最优化学习算法收敛性

2024-04-24 12:53:38

算法收敛性

梯度下降法
分析算法收敛性 - 精确线搜索exact line search
分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)

全部笔记的汇总贴：最优化学习目录

梯度下降法

dk+1=−∇f(xk)d^{k+1}=-\nabla f\left(x^{k}\right)dk+1=−∇f(xk)f(xk+1)−P∗f(xk)−P∗≤1−mM\frac{f\left(x^{k+1}\right)-P^{*}}{f\left(x^{k}\right)-P^{*}} \leq 1-\frac{m}{M}f(xk)−P∗f(xk+1)−P∗≤1−Mm ≤1−min⁡{2mγαmax⁡,2mγβM}\leq 1-\min \left\{2 m \gamma \alpha_{\max }, \frac{2 m \gamma \beta}{M}\right\}≤1−min{2mγαmax,M2mγβ}K∼log⁡(f(xk)−P∗)线性收敛K \sim \log \left(f\left(x^{k}\right)-P^{*}\right) \quad线性收敛K∼log(f(xk)−P∗)线性收敛

分析算法收敛性 - 精确线搜索exact line search

∀x∈domf,MI⪰∇2f(x)⪰mI\forall x \in d o m f, M I \succeq \nabla^{2} f(x) \succeq m I∀x∈domf,MI⪰∇2f(x)⪰mI

分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)

最优化学习算法收敛性相关推荐

算法收敛性以及收敛速度的理解
最近在看资料时,遇到了这样的说法"某某算法具有收敛快的优点",于是便有点疑惑:收敛不是函数或者数列才有的概念吗?用到算法上是代表什么意思呢?遂查阅资料,将一点理解记录如下. 算法收 ...
最优化学习牛顿法（Newton’s method）
牛顿法(Newton's method) 牛顿法(Newton's method) 收敛性分析 ∃ η > 0 \exists \eta>0 ∃η>0 图示和例子优点和缺陷全部笔 ...
最优化学习笔记(五)——牛顿法（多维数据）
在最优化学习系列中,第一次就说的是牛顿法,但是那是在一维搜索上的,它其实就是将函数ff在xx处利用泰勒公式展开,得到它的近似函数,进而求解最小值.本节内容主要说明牛顿法在多维数据上的迭代公式.最优化学 ...
Pymoo：优化算法收敛性的实例分析
Pymoo:优化算法收敛性分析的实现方法一.优化问题的定义与优化算法的结果分析 1.1 优化问题的定义与必要的算法中间信息的获取 1.2 Constraint Satisfaction (约束满足) ...
最优化学习拟牛顿法（Quasi-Newton Method）
拟牛顿法(Quasi-Newton Method) 拟牛顿法(Quasi-Newton Method) 得到矩阵Bk+1B_{k+1}Bk+1 获取Bk+1B_{k+1}Bk+1和Hk+1H_{k ...
最优化学习最速下降法（steepest Descent)
最速下降法(steepest Descent) 最速(陡)下降法(steepest Descent) v正则化为2范数 v为1范数和v为无穷范数 Steepest Gradient的变种坐标轴交替下 ...
最优化学习无约束优化问题的最优性条件
无约束问题的最优条件无约束问题的最优条件回顾泰勒定理(Taylor's Theorem) 一阶必要条件(First-Order Necessary Conditions) 二阶必要条件(Secon ...
CORDIC算法收敛性证明
CORDIC算法收敛性证明 cordic算法通过·移位.加减.简单乘除与迭代即可实现三角函数值的转换, 详细的作用.优缺点基本原理与实现介绍,参考如下两篇博客: https://www.eefocus ...
最优化学习下降算法初步与线搜索方法
下降算法初步与线搜索方法迭代下降算法线搜索基本思路线搜索方法均匀搜索法黄金区间法(0.618法) 基于导数信息的二分法非精确线搜索全部笔记的汇总贴:最优化学习目录迭代下降算法迭代的策 ...

最新文章

热门文章