机器学习数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）

　　数学优化方法在机器学习算法中至关重要，本篇博客主要来简单介绍下Conjugate Gradient(共轭梯度法，以下简称CG)算法，内容是参考的文献为：An Introduction to the Conjugate Gradient Method Without the Agonizing Pain，具体细节大家还需仔细阅读那篇文章，这篇博客并不是重现那篇论文的内容，只是简单的梳理下CG算法的流程，以及它的重要思路，方便大家理解CG算法。

　　首先我们需要解决的问题是：求满足线性方程(1)：的解x.

　　那么有人就这么认为了：这个解x不就是吗？对，这样说也不能算错，但是如果A不可逆那么x这样就解不出来了。另外当A矩阵的尺度非常大时（比如几百万维），即使其逆存在，这样计算的计算量也太大。而CG算法则可以通过少数的几步迭代来求出其近似解，虽然求出的解是近似的，但是其精度可以达到很高，完全可以满足我们的需求。

　　下面就来看看CG算法实现时的大概流程：

　　1. 随机选取一个初始点，记为，并记为此时方程(1)的残差，记第一个搜索方向为，搜索步长为.

　　2. 现在假设我们已经按照某个迭代公式在第k步求出了，此时的残差，前面k次的搜索方向分别为,很明显这些变量都是已知的，而现在我们需要求的是第k次的搜索方向.在CG理论中，有这么一个假设，即为,的线性组合，记为.

　　3. 为了求出，就必须求出系数，怎么求呢？CG理论中另外一个性质就是：和这k个向量关于A共轭，即满足共轭方程，其中0<=j<=k-1. 下面就可以利用该性质列出k个方程来求解这些系数了，其结果为：当0<=j<k-1时，系数；当j=k-1时，系数. 因此此时的搜索方向.

　　4. 既然的值有了，搜索方向也有了，下一步就改确定搜索步长了，求它的思想是使取得极值，即导数为0。一旦求出了，则下一个迭代点也就求出了。表达式对求导为0后可求得.

　　5. 循环步骤2,3,4，直到满足收敛条件。

　　上面只是CG算法的基本版本，而常见的CG算法版本是针对上面的计算公式和作了进一步推导，利用Krylov 子空间的一些性质，最后简化为：和，同时对残差也是经过迭代得到（此处省略）。由简化前后（此处省略N公式）对比可知，将原先表达式中一些矩阵和向量的乘积运算量减小了，因为很大一部分矩阵乘向量都转换成了向量乘向量。

　　最后附上论文中关于CG算法的流程图，大家可以参考上面5个步骤来理解CG的主要思路，本博客中的符号可能和论文中的不一定相同，且公式也不一定是正确的，博文只是让大家知道这些公式是由什么理论推出的，有个宏观认识，一切需以论文中的内容为主。

　　参考资料：

　　Shewchuk, J. R. (1994). An introduction to the conjugate gradient method without the agonizing pain, Carnegie Mellon University, Pittsburgh, PA.

机器学习数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）相关推荐

机器学习数据挖掘笔记_15（关于凸优化的一些简单概念）
没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs22 ...
机器学习数据挖掘笔记_14（GMM-HMM语音识别简单理解）
为了对GMM-HMM在语音识别上的应用有个宏观认识,花了些时间读了下HTK(用htk完成简单的孤立词识别)的部分源码,对该算法总算有了点大概认识,达到了预期我想要的.不得不说,网络上关于语音识别的通俗 ...
机器学习数据挖掘笔记_25（PGM练习九：HMM用于分类）
前言: 本次实验是用EM来学习HMM中的参数,并用学好了的HMM对一些kinect数据进行动作分类.实验内容请参考coursera课程:Probabilistic Graphical Models 中 ...
Adam优化器简单理解和实现
前言:因为要实现GAN,简单理解一下训练过程需要用到的Adam优化器. 零.何为优化器机器学习的任务就是优化参数使之达到最合适的值,同时也就是时损失函数达到最小.损失函数即目标函数的值与真实值的差值 ...
机器学习数据挖掘笔记_18（PGM练习二：贝叶斯网络在遗传图谱在的应用）
前言: 这是coursera课程:Probabilistic Graphical Models 上的第二个实验,主要是用贝叶斯网络对基因遗传问题进行一些计算.具体实验内容可参考实验指导教材:bayes ...
AdamW优化器简单理解
1.SGD L2 regularization 和 Weight decay 只在SGD优化的情况下是等价的. 2.自适应学习率算法 Adam自动调整学习率,大幅提高了训练速度,也很少需要调整学习率, ...
Adam优化器简单理解
参考链接:https://www.jianshu.com/p/aebcaf8af76e
python优化算法工具包_12种Python 机器学习数据挖掘工具包，一定让你受益匪浅...
作为一种解释型语言,Python的设计哲学强调代码的可读性和简洁的语法(尤其是使用空格缩进划分代码块,而非使用大括号或者关键词).相比于C++或Java,Python让开发者能够用更少的代码表达想法. ...
机器学习中的数学——共轭梯度法（Conjugate Gradient）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...

机器学习数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）

机器学习数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）相关推荐

最新文章

热门文章