最优化方法及其 Matlab 程序设计

马昌凤

2009 年12 月

内容提要

本书较为系统地介绍了非线性最优化问题的基本理论和算法及其主要算法

的Matlab 程序设计. 主要内容包括 (精确或非精确) 线搜索技术, 最速下降法与

(修正) 牛顿法, 共轭梯度法, 拟牛顿法, 信赖域方法, 非线性最小二乘问题的解

法, 约束优化问题的最优性条件, 罚函数法, 可行方向法, 二次规划问题的解法,

序列二次规划法以及 附录等. 设计 的Matlab 程序有精确线搜索 的0.616 法和抛

物线法, 非精确线搜索 的Armijo 准则, 最速下降法, 牛顿法, 再开始共轭梯度法,

BFGS 算法, DFP 算法, Broyden 族方法, 信赖域方法, 求解非线性最小二乘问题

的L-M 算法, 解约束优化问题的乘子法, 求解二次规划的有效集法, SQP 子 问题

的光滑牛顿法以及求解约束优化问题的SQP 方法等. 此外, 书中配有丰富的例

题和习题, 同时, 作为附录介绍了Matlab 优化工具箱的使用方法. 本书既注重计

算方法的实用性, 又注意保持理论分析的严谨性, 强调数值方法的思想和原理在

计算机上的实现.

本书的主要阅读对象是数学与应用数学和信息与计算科学专业的本科生, 应

用数学、计算数学和运筹学与控制论专业的研究生, 理工科有关专业的研究生,

对最优化理论与算法感兴趣的教师及科技工作人员. 读者只需具备微积分、线性

代数和Matlab 程序设计方面的初步知识.

前 言

运筹学的理论与方法广泛应用于工业与农业、交通与运输、国防与建筑以

及通信与管理等各个部门各个领域; 它主要解决最优计划、最优分配、最优决策

以及最佳设计和最佳管理等最优化问题. 本书所介绍的最优化方法又称为数学规

划, 是运筹学的一个重要分支, 也是计算数学和应用数学的一个重要组成部分.

本书系统地介绍了非线性优化的理论与方法及其Matlab 程序设计, 其主要

阅读对象是数学与应用数学和信息与计算科学专业的本科生, 应用数学、计算数

学和运筹学与控制论专业的研究生, 理工科有关专业的研究生, 对最优化理论与

算法感兴趣的教师及科技工作人员. 读者只需具备微积分、线性代数和Matlab

程序设计方面的初步知识.

本书的主要内容包括: 最优化理论基础; (精确或非精确) 线搜索技术; 最速

下降法与 (修正) 牛顿法; 共轭梯度法; 拟牛顿法; 信赖域方法; 非线性最小二乘问

题的解法; (约束优化问题的) 最优性条件; 罚函数法; 可行方向法; 二次规划问题

的解法; 序列二次规划法以及 附录等. 设计 的Matlab 程序有精确线搜索 的0.616

法和抛物线法, 非精确线搜索 的Armijo 准则, 最速下降法, 牛顿法, 再开始共轭

梯度法, 对称秩1 算法, BFGS 算法, DFP 算法, Broyden 族方法, 信赖域方法, 求

解非线性最小二乘问题的L-M 算法, 解约束优化问题的乘子法, 求解二次规划

的有效集法, 牛顿-拉格 朗 日算法, SQP 子 问题的光滑牛顿法以及求解约束优化

问题的SQP 方法等. 此外, 书中配有丰富的例题和习题, 同时, 作为附录介绍了

Matlab 优化工具箱的使用方法. 本书既注重计算方法的实用性, 又注意保持理论

分析的严谨性, 强调数值方法的思想和原理在计算机上的实现.

本书具有如下特点:

1. 介绍非线性优化中最重要最基础 的理论与方法, 它们是研究各种复杂的

最优化问题的基础和工具.

2. 最优 化方法与 Matlab 程序设计相 结合, 采用 当前最流行的数学软件

Matlab 编制了主要优化算法的Matlab 程序. 所有程序都在计算机上经过调试和

iii

运行, 简洁而不乏准确.

3. 本书所给 的每一程序之后都给 出了相应 的计算实例. 这不仅能帮助学生

理解程序里所包含的最优化理论知识, 而且对培养学生处理数值最优化问题的能

力也大有裨益.

4. 全书每章都配备了一定数量 的习题, 习题包括理论分析题和编程实验题,

以加强