PAGE

目 录

TOC \o "1-3" \h \z \u HYPERLINK \l "_Toc282785128" 1、引言 PAGEREF _Toc282785128 \h 1 HYPERLINK \l "_Toc282785129" 2、BFGS算法综述1 HYPERLINK \l "_Toc282785130" 2.1 拟牛顿法及其性质1 HYPERLINK \l "_Toc282785131" 2.2 BFGS算法3 HYPERLINK \l "_3、数值实验" 3、数值实验6 HYPERLINK \l "_Toc282785133" 3.1 代码实现6 HYPERLINK \l "_3.2_算法测试" 3.2 算法测试7 HYPERLINK \l "_3.3_结果分析" 3.3 结果分析8 HYPERLINK \l "_Toc282785141" 4、总结8 HYPERLINK \l "_5.1_总结概括" 4.1 总结概括8 HYPERLINK \l "_6、参考文献：" 5、参考文献：9

PAGE \* MERGEFORMAT1

最优化方法课程设计

PAGE \* MERGEFORMAT9

1、引言在最优化的问题中，线性最优化至少可以使用单纯形法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。牛顿法的优点是具有二次收敛速度，但是当Hesse矩阵不正定时，不能保证所产生的方向是目标函数在处的下降方向。特别地，当奇异时，算法就无法继续进行下去，尽管修正的牛顿法可以克服这一缺点，但修正参数的选取很难把握，过大或过小都会影响到收敛速度，此外，牛顿法的每一迭代步都需要目标函数的二阶导数，即Hesse矩阵，对于大规模问题，其计算量是惊人的。由此引出了一种新的求解非线性优化问题的方法——拟牛顿法。拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon设计的这种 HYPERLINK "/view/7420.htm" \t "_blank" 算法在当时看来是非 HYPERLINK "/view/2790880.htm" \t "_blank" 线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现???大量的变形公式以及数以百计的相关论文。其中BFGS就是拟牛顿法中的一种方法。2、BFGS算法的综述 2.1拟牛顿法及其性质 拟牛顿法的基本思想是在牛顿法的第二步中用Hesse矩阵的某个近似矩阵取代。通常，应具有以下三个特点：(1)在某种意义下有，使得相应的算法产生的方向近似于牛顿方向，以确保算法具有较快的收敛速度；(2)对所有的，是对称正定的，从而使得算法所产生的方向是函数在处下降方向；(3)矩阵更新规则相对比较简单，即通常采用秩1或秩2矩阵进行校正。下面介绍满足这三个特点的矩阵的构造，设在开集上二次连续可微，那么在处二次近似模型为 (2.1)对上式求导得 (2.2)令，位移，梯度差，则有 (2.3)注意到对于二次函数，上式是精确成立的。现在，要求在拟牛顿法中构造Hesse矩阵的近似矩阵满足这种关系式，即 (2.4)式(2.4)通常称为拟牛顿方程或拟牛顿条件。令，则得到拟牛顿方程的另一种形式： (2.5)其中为Hesse矩阵逆的近似。搜索方向由或确定。根据(或)的第三个特点，可令， (2.6)其中，为秩1或秩2矩阵，通常将拟牛顿方程(2.4)(或(2.5))和校正规则(2.6)所确立的方法称为拟牛顿法。 下面介绍一对称秩1校正公式。在(2.6)中取(秩1矩阵)，其中.由拟牛顿方程(2.4)得