Zoutendijk可行性方法属于约束极值问题可行方向法中的一种。与之前无约束极值问题中的最速下降法、牛顿法相像，可行方向法的策略是：从可行点出发，沿着下降的可行方向进行搜索，求出使目标函数值下降的可行点。教材中共介绍了四种方法：Zoutendijk可行性方法、Rosen梯度投影方法、既约梯度法、Frank-Wolfe方法。博文对Zoutendijk可行性方法和Frank-Wolfe方法进行了介绍，这个是第一篇。

这类算法的两大步骤如下所示，搜索方向的选择策略不同形成了不同的可行方向法。

1、选择搜索方向 $d$

2、确定沿此方向移动的步长 $\alpha$

接下来开始正题：Zoutendijk可行性方法

一、线性约束情形

1.确定变动方向

对于一个非线性规划问题： $min f(x)$ ， $s.t. Ax\geqslant b \& Ex=e$ 。可以看到其共有m个不等式约束，n个等式约束。

若初始点设定为 $\widehat{x}$ ，考虑到m个等式约束中有一些是起作用约束（在边界上满足=），有一些是不起作用约束（在内部满足 $\geqslant$ ），所以将 $A$ 矩阵进行行调换： $A=[A_{1}|A_{2}]{}'$ ，同时对 $b$ 向量也进行对应分块： $b=[b_{1}|b_{2}]{}'$ ，最终得到起作用约束 $A_{1} \widehat{x}=b_{1}$ ，不起作用约束 $A_{2} \widehat{x}\geqslant b_{2}$ 。

定理1（可行方向）：在此点选择一个方向 $d$ ，如果使得目标函数值下降，则应满足： $A_{1}d\geqslant 0, Ed=0$ ，即只考虑起作用约束集和等式约束集。

（这个定理不难理解，可行点已经触犯到了一些不等式约束的边缘，如果发生变动，那么变动之后的点一定依然满足这些起作用集约束。）

之前都是站在约束角度考察方向 $d$ 的取值，现在结合目标函数值进行联合分析：如果方向 $d$ 同时满足 $\triangledown f(\widehat{x})^Td< 0,A_{1}d\geqslant 0, Ed=0$ ，那么这个方向 $d$ 就是下降可行方向（即方向 $d$ 既能够使函数值下降，又能满足约束条件）。基于这些分析我们可以把求方向 $d$ 规范化为线性规划问题：

计算过程1（求方向d）： $min \triangledown f(x)^Td$ ， $s.t. \ \ \ A_{1}x\geqslant 0 \ \ \ \&\ \ \ Ed=0 \ \ \ \&\ \ \ \left \| d_{j}\leqslant 1 \right \|$

形象理解可知，当d和函数梯度夹角大于90°时，函数值可以下降，上目标函数为负值。而当已经到达局部最优点，没有下降方向时，上目标函数最小值为0。这时可以给出第二个定理，即KT点和下降可行方向的关联：

定理2（KT点关联下降可行方向）：当在x点处满足约束，且上目标函数最小值为0时，此点为KT点。（充要条件）

至此我们完成了方向d的确定。

2.确定移动步长

和无约束最优化问题类似，可行点的迭代公式为： $x^{(k+1)}=x^{(k)}+\lambda _kd^{(k)}$ 。步长的选择一方面要满足后续点的可行性，一方面又要使目标函数值尽可能地小。因此可以得到完备计算过程：

计算过程2（完备求步长 $\lambda$ ）： $min f(x^{(k)}+\lambda _kd^{(k)}) \ \ s.t. \ \ A(x^{(k)}+\lambda _kd^{(k)})\geqslant b\ \ \& \ \ E(x^{(k)}+\lambda _kd^{(k)})=e$

这时考虑：在选取 $d$ 时已经使得作用约束满足、等式约束满足。因此只考虑非作用约束即可（这一步真的神奇！）。因此计算过程直接化简为：

计算过程2（简化求步长 $\lambda$ ）： $min f(x^{(k)}+\lambda _kd^{(k)}) \ \ s.t. A_{2}x^{(k)}+\lambda A_{2}d^{(k)}\geqslant b_2 \ \ \& \ \ \lambda\geqslant 0$

接下来对 $A_{2}x^{(k)}+\lambda A_{2}d^{(k)}\geqslant b_2$ 式进行仔细分析：将不含 $\lambda$ 的项移动到右端： $\lambda A_{2}d^{(k)}\geqslant b_2-A_{2}x^{(k)}$ ，可以发现右端式满足小于0。分类讨论，当 $A_{2}d^{(k)} \geqslant 0$ 时，无论 $\lambda$ 如何选取都满足条件， $0\leqslant \lambda\leqslant \infty$ ；当 $A_{2}d^{(k)} \leqslant 0$ 时， $A_{2}d^{(k)}$ 左除引起变号， $\lambda$ 最大取 $(b_2-A_{2}x^{(k)})/A_{2}d^{(k)}$ 。所以最终精简求法为：

计算过程2（精简求步长 $\lambda$ ）： $min f(x^{(k)}+\lambda _kd^{(k)}) \ \ s.t. \ \ \ 0 \leqslant \lambda\leqslant \lambda_{max}$

其中 $\lambda_{max}$ 求法按照上述分类讨论计算。完整的 $\lambda_{max}$ 计算方法在教材中已经给出：

3.完整算法

约束优化方法_1_——Zoutendijk可行方向法相关推荐

python和stata哪个数据分析实例,STATA数据分析案例:Zoutendijk可行方向法
适用于线性约束和非线性不等式约束的非线性规划的两种算法. 1. 线性约束的情形: minf(X) 满足其中A和E分别是m×n和l×n阶矩阵,b和e分别是m和l维列向量.Zoutendijk可行方向法 ...
约束优化：约束优化的三种序列无约束优化方法
文章目录约束优化:约束优化的三种序列无约束优化方法外点罚函数法 L2-罚函数法:非精确算法对于等式约束对于不等式约束 L1-罚函数法:精确算法内点罚函数法:障碍函数法等式约束优化问题的拉格 ...
最优化 | 无约束优化方法 | C++实现
文章目录参考资料 1. 前言 2. 梯度下降法 2.1 原理 2.2 c++实现 2.3 共轭梯度法 3. 牛顿法 3.1 原理 3.2 c++实现 4. 模拟退火算法 4.1 原理 4.2 c++ ...
无约束优化方法之powell方法
无约束优化方法是优化技术中心极为重要也是最基本的内容之一.无约束优化问题的数学模型为: min ⁡ x ∈ R n f ( x ) \min_{x \in R^n}f(x) x∈Rnminf(x) ...
约束优化方法之拉格朗日乘子法与KKT条件
来源:https://www.cnblogs.com/ooon/p/5721119.html 引言本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可 ...
可行方向法的matlab代码,zoutendijk 可行方向法的matlab实现
(一) .基本思想是: 给定一个可行点)(k x 之后,用某种方法确定一个改进的可行方向k d ,然后沿方向k d ,求解一个有约束的线搜索问题,得极小点k λ,令k k k k d x x λ+=+ ...
matlab优化设计大作业答案,优化设计有哪些方法（2019优化设计答案大全）
本书主要介绍机械优化设计方法与实例,全书共有9章,内容主要包括机械优化设计的基本要素及数学模型.优化设计的理论基础.常见的优化设计方法和优化设计软件简介.书中对工程中常见的六大类优化设计方法--一维搜 ...
西工大机考《现代设计方法》大作业网考
???202110?? 试卷总分:100 得分:96 一. 单选题 (共 40 道试题,共 80 分) 1.Powell改进算法是一种( ). A.一维搜索方法 B.处理约束问题的优化方法 C.利用海 ...
单目标模糊优化设计matlab程序,优化设计有哪些方法
本书主要介绍机械优化设计方法与实例,全书共有9章,内容主要包括机械优化设计的基本要素及数学模型.优化设计的理论基础.常见的优化设计方法和优化设计软件简介.书中对工程中常见的六大类优化设计方法--一维搜 ...

约束优化方法_1_——Zoutendijk可行方向法

一、线性约束情形

1.确定变动方向

2.确定移动步长

3.完整算法

约束优化方法_1_——Zoutendijk可行方向法相关推荐

最新文章

热门文章