凸优化中如何改进GD方法以防止陷入局部最优解

在对函数进行凸优化时，如果使用导数的方法（如：梯度下降法/GD，牛顿法等）来寻找最优解，有可能陷入到局部最优解而非全局最优解。

为了防止得到局部最优，可以对梯度下降法进行一些改进，防止陷入局部最优。

但是请注意，这些方法只能保证以最大的可能找到全局最优，无法保证100%得到全局最优。

一、incremental GD/stochastic GD

在GD中，是需要遍历所有的点之后才计算w的变化的；但是，在stochastic GD中，每输入一个点，就根据该点计算下一步的w，这样，不仅可以从batch training变成online training方法，而且每次是按照单点的最优方向而不是整体的最优方向前进，从而相当于在朝目标前进的路上多拐了好多弯，有可能逃出局部最优。

二、momentum方法

momentum相当与记忆住上一次的更新。在每次的更新中，都要加一个k倍的上一次更新量。这样，也不再是按照标准路线前进，每次的步骤都容易受到上一次的影响，从而可能会逃出局部最优。另外，也会加大步长，从而加快收敛。

三、我印象中还有一种方法？

再回去查书的时候没有翻到，但我印象中记得还有一种思路。在上面两种对GD的改进中，w的更新都是在所有维度上同时更新的，但是，可以通过每次只在一个维度上进行更新，相当于把多维上的一步变成了多个一维上的一步，这样最终的“行走路线”会和标准的GD有区别，因此，也有可能逃出局部最优。

凸优化中如何改进GD方法以防止陷入局部最优解相关推荐

浅谈凸优化中的共轭函数
浅谈凸优化中的共轭函数函数ff的共轭定义: f∗(y)=sup(yTx−f(x))f^*(y) = \sup (y^Tx - f(x)), x∈domf{x\in {\bf dom} f} 可见,共 ...
随机优化中的样本均值近似方法
随机优化中的样本均值近似方法 1.SAA原理 2.使用Gurobi实操求解 2.1 问题求解 2.2 最坏的情况(worst case) 2.3 机会约束优化(chance constrained o ...
不确定优化中使用的决策准则方法
不确定优化中使用的决策准则方法 1.决策准则方法 2.线性决策准则 2.1 多阶段优化能否使用LDR? 最近比较烦,学习有点停滞.想借助写博客,梳理自己的知识脉络,把自己静下来.关注不确定性优化问题, ...
凸优化中凸函数定义、直线与线段、凸集、仿射集合、仿射函数
凸优化(Stephen Boyd)中自学部分凸函数定义函数f:Rn→Rf:\mathbf{R}^{n} \rightarrow \mathbf{R}f:Rn→R是凸的,如果fff在定义域(domd ...
用户旅程方法论_3种有效准备数字旅程中流程改进的方法
用户旅程方法论在转变工作方式的过程中,我们专注于客户的愿望,并且计划转向数字业务,因此始终需要改进流程. 尽管向数字业务的转变可能包含组织中许多新的方面,但始终存在需要评估的技术和流程方面的现有投资 ...
如何理解凸优化中的共轭函数的定义？
共轭函数的意义主要就是:一个函数即便不是凸函数,但通过共轭法获得一个凸函数,很方便求解全局最优解的问题. 另外,共轭函数亦称对偶函数.极化函数,函数的某种对偶变换.过多的东西我就不再赘述了. 此处我是 ...
html seo设置,搜索引擎优化中的HTML代码优化方法-如何做好SEO
一. h标签优化友爱网团队认为,网站代码中h标签的优化是非常重要的一部分.h-标签分为h1-h6标签.H1标签是h标签中重要的一个,它也支付了重量.因为一个页面只能呈现一次H1标签,和往常一样,H1 ...
数学之美：凸优化问题
导言凸优化(convex optimization)是最优化问题中非常重要的一类,也是被研究的很透彻的一类.对于机器学习来说,如果要优化的问题被证明是凸优化问题,则说明此问题可以被比较好的解决.在本 ...
文献翻译__人工智能时代医学图像重建中的凸优化算法（第4、5、6章）
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...

凸优化中如何改进GD方法以防止陷入局部最优解

凸优化中如何改进GD方法以防止陷入局部最优解相关推荐

最新文章

热门文章