1. 对偶问题的提出

什么是对偶？
对同一事物（或问题），从不同的角度（或立场）提出相对的两种不同的表述。
例如：在平面内，矩形的面积与其周长之间的关系，有两种不同的表述方法。
周长一定，面积最大的矩形是正方形。
面积一定，周长最短的矩形是正方形。
这种表述有利于加深对事物的认识和理解。
线性规划问题也有对偶关系。

2. 线性规划的对偶理论

2.1 原问题与对偶问题的关系

原问题（LP）：
max z=c1x1+c2x2+⋯+cnxn(a11a12⋯a1n⋮⋮⋱⋮am1am2⋯amn)(x1x2⋮xn)=(b1⋮bm)x1,x2,⋯,xn≥0\begin{array}{cccc} \text { max } z & =c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n} & \\ \left(\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m 1} & a_{m 2} & \cdots & a_{m n} \end{array}\right)\left(\begin{array}{c} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right)=\left(\begin{array}{c} b_{1} \\ \vdots \\ b_{m} \end{array}\right) \\ x_{1}, x_{2}, \cdots, x_{n} \geq 0 \end{array} max z⎝⎜⎛a11⋮am1a12⋮am2⋯⋱⋯a1n⋮amn⎠⎟⎞⎝⎜⎜⎜⎛x1x2⋮xn⎠⎟⎟⎟⎞=⎝⎜⎛b1⋮bm⎠⎟⎞x1,x2,⋯,xn≥0=c1x1+c2x2+⋯+cnxn
对偶问题(DP)
min⁡ω=y1b1+y2b2+⋯+ymbm(y1,y2,⋯,ym)(a11a12⋯a1n⋮⋮⋱⋮am1am2⋯amn)≥(c1,c2,⋯,cn)y1,y2,⋯,yn≥0\begin{array}{l} \min \omega=y_{1} b_{1}+y_{2} b_{2}+\cdots+y_{\mathrm{m}} b_{m} \\ \left(y_{1}, y_{2}, \cdots, y_{m}\right)\left(\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m 1} & a_{m 2} & \cdots & a_{m n} \end{array}\right) \geq\left(c_{1}, c_{2}, \cdots, c_{n}\right) \\ y_{1}, y_{2}, \cdots, y_{n} \geq 0 \end{array}minω=y1b1+y2b2+⋯+ymbm(y1,y2,⋯,ym)⎝⎜⎛a11⋮am1a12⋮am2⋯⋱⋯a1n⋮amn⎠⎟⎞≥(c1,c2,⋯,cn)y1,y2,⋯,yn≥0
变换关系分为对称关系与非对称关系，其中非对称形式的变换关系可以有以下两个步骤：
第一步：先将等式约束条件分解为两个不等式约束条件
第二步：按对称形式变换关系可写出它的对偶问题

2.2 对偶问题的基本性质

1)对称性：对偶问题的对偶是原问题 ;
证明：设原问题是
max⁡z=CX;AX≤b,X≥0\max _{z}=C X ; A X \leq b, \quad X \geq 0zmax=CX;AX≤b,X≥0
根据对偶问题的对称变换关系，可以找到它的对偶问题是
minw=Yb;YA≥C,Y≥0min w=Y b ; Y A \geq C, \quad Y \geq 0minw=Yb;YA≥C,Y≥0
若将上式两边取负号，又因min⁡w=max⁡(−ω)\min w=\max (-\omega)minw=max(−ω)可得到
max⁡(−w)=Yb;−YA≤−C;Y≥0\max (-w)=Y b ;-Y A \leq-C ; \quad Y \geq 0max(−w)=Yb;−YA≤−C;Y≥0
根据对称变换关系，得到上式的对偶问题是
min⁡(−w′)=−CX;−AX≥−b;X≥0\min \left(-w^{\prime}\right)=-C X ;-A X \geq-b ; X \geq 0min(−w′)=−CX;−AX≥−b;X≥0
又因min⁡(−w′)=max⁡w′\min \left(-w^{\prime}\right)=\max w^{\prime}min(−w′)=maxw′，可得
Maxw′=max⁡z=CX;AX≤b;X≥0\boldsymbol{M a x} \boldsymbol{w}^{\prime}=\max z=C \boldsymbol{X} ; \quad \boldsymbol{A X} \leq b ; \boldsymbol{X} \geq \boldsymbol{0}Maxw′=maxz=CX;AX≤b;X≥0
这就是原问题。
2)弱对偶性：若Xˉ\bar XXˉ是原问题的可行解，Yˉ\bar YYˉ是对偶问题的可行解。则存在CX≤Yb;
设原问题是 max⁡z=CX;AX≤b;X≥0\max z=C X ; A X \leq b ; X \geq 0maxz=CX;AX≤b;X≥0
因Xˉ\bar XXˉ是原问题的可行解，所以满足约束条件,即
AXˉ≤bA \bar{X} \leq bAXˉ≤b
若Yˉ\bar YYˉ是对偶问题的可行解，将Yˉ\bar YYˉ左乘上式，得到
YˉAXˉ≤Yˉb\bar{Y} A \bar{X} \leq \bar{Y} bYˉAXˉ≤Yˉb
原问题的对偶问题是： minw=Yb;YA≥C;Y≥0min w=Y b ; Y A \geq C ; Y \geq 0minw=Yb;YA≥C;Y≥0
因Yˉ\bar YYˉ是对偶问题的可行解，所以满足 YˉA≥C\bar{Y} A \geq CYˉA≥C
将Xˉ\bar XXˉ右乘上式,得到 YˉAXˉ≥C.\bar{Y} A \bar{X} \geq C .YˉAXˉ≥C.
于是得到 CXˉ≤YˉAXˉ≤YˉbC \bar{X} \leq \bar{Y} A \bar{X} \leq \bar{Y} b \quadCXˉ≤YˉAXˉ≤Yˉb
证毕.

3)无界性：若原问题(对偶问题)为无界解，则其对偶问题(原问题)无可行解;
由性质（2）可知，
Yˉb≥CXˉ→∞,\bar{Y} b \geq C \bar{X} \rightarrow \infty,Yˉb≥CXˉ→∞, 是不可能成立。
4)可行解是最优解时的性质 ;
设X^\hat{X}X^是原问题的可行解，Y^\hat{Y}Y^是对偶问题的可行解，
当CX^=Y^bC\hat{X}=\hat{Y}bCX^=Y^b时，X^,Y^\hat{X}, \hat{Y}X^,Y^ 是最优解。

设: X^\hat XX^是原问题的可行解，Y^\hat{Y}Y^ 是对偶问题的可行解
当 CX^=Y^bC \hat{X}=\hat{Y} bCX^=Y^b 时,X^,Y^\hat{X}, \hat{Y}X^,Y^ 是最优解

证明:
若 CX^=Y^bC \hat{X}=\hat{Y} bCX^=Y^b, 根据性质2 可知，对偶问题的
所有可行解 Yˉ\bar{Y}Yˉ 都存在 Yˉb≥C^X;\bar{Y} b \geq \hat{C} X ;Yˉb≥C^X; 因 CX^=Y^bC \hat{X}=\hat{Y} bCX^=Y^b
所以 Yˉb≥Y^b\bar{Y} b \geq \hat{Y} bYˉb≥Y^b
可见是使目标函数取值最小的可行解，
因而是最优解
同理可证明，对原问题
存在 CX^=Y^b≥CXˉC \hat{X}=\hat{Y} b \geq C \bar{X}CX^=Y^b≥CXˉ,所以是最优解 .
证毕
5)对偶定理：若原问题有最优解，那么对偶问题也有最优解；且目标函数值相等;
证明:
设X^\hat XX^是原问题的最优解，它对应的基矩阵B，
必存在 C−CBB−1A≤0C-C_{B} B^{-1} A \leq 0C−CBB−1A≤0即得到 Y^A≥C\hat{Y} A \geq CY^A≥C 其中 Y^=CBB−1\hat{Y}=C_{B} B^{-1}Y^=CBB−1
若 Y^\hat YY^是对偶问题的可行解，使得 w=Y^b=CBB−1bw=\hat{Y} b=C_{B} B^{-1} bw=Y^b=CBB−1b
因原问题的父是最优解，使目标函数取值 z=CX^=CBB−1bz=C \hat{X}=C_{B} B^{-1} bz=CX^=CBB−1b 由此，得到 Y^b=CBB−1b=CX^\hat{Y} b=C_{B} B^{-1} b=C \hat{X}Y^b=CBB−1b=CX^
可见Y^\hat YY^是对偶问题的最优解。

6)互补松弛性 ;
若 X^,\hat{X},X^, 分分别为原问题和对偶问题的可行解，
那么 Y^XS=0\hat{Y} X_{S}=0Y^XS=0 和 YSX^=0Y_{S} \hat{X}=0YSX^=0;当且仅当， X^,Y^\hat{X}, \hat{Y}X^,Y^ 为最优解。

证明：设原问题和对偶问题的标准关系为
原问题：
max⁡z=CXAX+XS=bX,XS≥0\begin{array}{l} \max z=C X \\ A X+X_{S}=b \\ X, X_{S} \geq 0 \end{array}maxz=CXAX+XS=bX,XS≥0
对偶问题：
min⁡ω=YbYA−YS=CY,YS≥0\begin{array}{l} \min \omega=Y b \\ Y A-Y_{S}=C \\ Y, Y_{S} \geq 0 \end{array}minω=YbYA−YS=CY,YS≥0
将原问题目标函数中的系数向量CCC用C=YA−YsC=YA-Y_sC=YA−Ys代替后，得到
z=(YA−YS)X=YAX−YSXz=\left(Y A-Y_{S}\right) X=Y A X-Y_{S} Xz=(YA−YS)X=YAX−YSX
将对偶问题的目标函数中系数列向量b，用b=AX+Xsb=AX+X_sb=AX+Xs代替后，
得到w=Y(AX+XS)=YAX+YXSw=Y\left(A X+X_{S}\right)=Y A X+Y X_{S}w=Y(AX+XS)=YAX+YXS
t^YSX^=0,Y^XS=0\hat{t} Y_{S} \hat{X}=0, \hat{Y} X_{S}=0 t^YSX^=0,Y^XS=0 则 Y^b=Y^AX^=CX^\hat{Y} b=\hat{Y} A \hat{X}=C \hat{X}Y^b=Y^AX^=CX^
由性质（4），可知 X^,Y^\hat{X}, \hat{Y}X^,Y^ 是最优解。
又若分别是原问题和对偶问题的最优解，根据性质（4），则有C X=YAX=YbX=Y A X=Y bX=YAX=Yb
可知，必有
Y^XS=0,YSX^=0\hat{Y} X_{S}=0, Y_{S} \hat{X}=0Y^XS=0,YSX^=0

** 7)原问题检验数与对偶问题解的关系**
设原问题是
max⁡z=CX;AX+XS=b;X,XS≥0\max z=C X ; A X+X_{S}=b ; X, X_{S} \geq 0maxz=CX;AX+XS=b;X,XS≥0
它的对偶问题是
min⁡w=Yb;YA−YS=C;Y,YS≥0\min w=Y b ; Y A-Y_{S}=C ; Y, Y_{S} \geq 0minw=Yb;YA−YS=C;Y,YS≥0
则原问题单纯形表的检验数行对应其对偶问题的一个基解，其对应关系见表

YS1Y_{S1}YS1是对应原问题中基变量XBX_{B}XB的剩余变量，
YS2Y_{S2}YS2是对应原问题中非基变量XNX_{N}XN的剩余变量。

3. 对偶单纯形法

前节讲到原问题与对偶问题的解之间的对应关系时指出：在单纯形表中进行迭代时，在b列中得到的是原问题的基可行解，而在检验数行得到的是对偶问题的基解。
通过逐步迭代，当在检验数行得到对偶问题的解也是基可行解时，根据性质(2)、(3)可知，已得到最优解。即原问题与对偶问题都是最优解。
根据对偶问题的对称性，可以这样考虑：若保持对偶问题的解是基可行解，即cj−CBB−1Pj≤0c_{j}-C_{B} B^{-1} P_{j} \leq 0cj−CBB−1Pj≤0，而原问题在非可行解的基础上，通过逐步迭代达到基可行解，这样也得到了最优解。其优点是原问题的初始解不一定是基可行解，可从非基可行解开始迭代。
设原问题为：
max⁡z=CXAX=bX≥0\begin{array}{r} \max z=C X \\ A X=b \\ X \geq 0 \end{array}maxz=CXAX=bX≥0
又设BBB是一个基。不失一般性，令B=(P1,P2,…,Pm)B=\left(P_{1}, P_{2}, \ldots, P_{m}\right)B=(P1,P2,…,Pm)，它对应的变量为XB=(x1,x2,…,xm)X_{B}=\left(x_{1}, x_{2}, \ldots, x_{m}\right)XB=(x1,x2,…,xm)。当非基变量都为零时，可以得到XB=B−1bX_{B}=B^{-1} bXB=B−1b。若在B−1bB^{-1} bB−1b中至少有一个负分量，设(XB=B−1b)i<0{(X_{B}=B^{-1} b)}_i < 0(XB=B−1b)i<0，并且在单纯形表的检验数行中的检验数都为非正，即对偶问题保持可行解，它的各分量是
(1) 对应基变量x1,x2,…,xmx_{1}, x_{2}, \ldots, x_{m}x1,x2,…,xm的检验数是
σi=ci−zi=ci−CBB−1Pj=0,i=1,2,…,m\sigma_{i}=c_{i}-z_{i}=c_{i}-C_{B} B^{-1} P_{j}=0, \quad i=1,2, \ldots, mσi=ci−zi=ci−CBB−1Pj=0,i=1,2,…,m
(2) 对应非基变量xm+1,…,xnx_{m+1}, \ldots, x_{n}xm+1,…,xn的检验数是
σj=cj−zj=cj−CBB−1Pj≤0,j=m+1,…,n\sigma_{j}=c_{j}-z_{j}=c_{j}-C_{B} B^{-1} P_{j} \leq 0, \quad j=m+1, \ldots, nσj=cj−zj=cj−CBB−1Pj≤0,j=m+1,…,n
每次迭代是将基变量中的负分量x1x_1x1取出，去替换非基变量中的xkx_kxk，经基变换，所有检验数仍保持非正。从原问题来看，经过每次迭代，原问题由非可行解往可行解靠近。当原问题得到可行解时，便得到了最优解。
对偶单纯形法的计算步骤如下：
(1) 根据线性规划问题，列出初始单纯形表。检查bbb列的数字，若都为非负，检验数都为非正，则已得到最优解。停止计算。若检查bbb列的数字时，至少还有一个负分量，检验数保持非正，那么进行以下计算。
(2) 确定换出变量。按min⁡{(B−1b)i∣(B−1b)i<0=(B−1b)1\min \left\{\left(B^{-1} b\right)_{i} \mid\left(B^{-1} b\right)_{i}<0=\left(B^{-1} b\right)_{1}\right.min{(B−1b)i∣(B−1b)i<0=(B−1b)1对应的基变量x1x_1x1为换出变量
(3) 确定换入变量。在单纯形表中检查x1x_1x1所在行的各系数α1j(j=1,2,…,n)\alpha_{1 j}(j=1,2, \ldots, n)α1j(j=1,2,…,n)。若所有α1j≥0\alpha_{1j} \geq 0α1j≥0，则无可行解，停止计算。若存在α1j<0(j=1,2,…,n)\alpha_{1 j}<0(j=1,2, \ldots, n)α1j<0(j=1,2,…,n), 计算
θ=min⁡j(cj−zjalj∣alj<0)=ck−zkalk\theta=\min _{j}\left(\frac{c_{j}-z_{j}}{a_{l j}} \mid a_{l j}<0\right)=\frac{c_{k}-z_{k}}{a_{l k}}θ=jmin(aljcj−zj∣alj<0)=alkck−zk
按θ\thetaθ规则所对应的列的非基变量xkx_kxk为换入变量，这样才能保持得到的对偶问题解仍为可行解。
(4) 以α1k\alpha_{1k}α1k为主元素，按原单纯形法在表中进行迭代运算，得到新的计算表。
重复步骤(1)～(4)。

从以上求解过程可以看到对偶单纯形法有以下优点：
(1) 初始解可以是非可行解，当检验数都为负数时就可以进行基的变换，这时不需要加入人工变量，因此可以简化计算。
(2) 当变量多于约束条件，对这样的线性规划问题用对偶单纯形法计算可以减少计算工作量，因此对变量较少，而约束条件很多的线性规划问题，可先将它变换成对偶问题，然后用对偶单纯形法求解。
(3) 在灵敏度分析及求解整数规划的割平面法中，有时需要用对偶单纯形法，这样可使问题的处理简化。对偶单纯形法的局限性主要是，对大多数线性规划问题，很难找到一个初始可行基，因而这种方法在求解线性规划问题时很少单独应用。

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论相关推荐

陈宝林《最优化理论与算法》超详细学习笔记（三）————单纯形法
陈宝林<最优化理论与算法>详细学习笔记 (三)----单纯形法数学模型最优性检验与解的判别最优解的判别定理无穷多最优解判别定理无界解判别定理其他情形第三章单纯形法单纯形表 ...
陈宝林《最优化理论与算法》超详细学习笔记（八）————最优性条件
陈宝林<最优化理论与算法>超详细学习笔记 (八)----最优性条件无约束问题的极值条件必要条件二阶充分条件充要条件约束极值问题的最优性条件不等式约束的一阶最优性条件无约束问题 ...
陈宝林《最优化理论与算法》超详细学习笔记（七）————第五章运输问题
陈宝林<最优化理论与算法>超详细学习笔记 (七)----第五章运输问题第1节运输问题的数学模型第2节表上作业法 2.1 确定初始基可行解 2.2 最优解的判别 2.3 改进的方法 ...
陈宝林《最优化理论与算法》超详细学习笔记（一）————第十章使用导数的最优化方法（最速下降法、牛顿法、阻尼牛顿法）
陈宝林<最优化理论与算法>超详细学习笔记 (一)----第十章使用导数的最优化方法(最速下降法.牛顿法.阻尼牛顿法) 写在前面第十章使用导数的最优化方法最速下降法牛顿法阻尼牛顿 ...
陈宝林《最优化理论与算法》超详细学习笔记（五）————最优性条件之 KKT条件
陈宝林<最优化理论与算法>超详细学习笔记 (五)----最优性条件之 KKT条件 Lagrange对偶问题原问题 Lagrange函数 Lagrange对偶函数强/弱对偶性弱对偶性 ...
陈宝林《最优化理论与算法》超详细学习笔记（二）————补充知识（凸集）第二章线性规划的基本性质
陈宝林<最优化理论与算法>超详细学习笔记 (二)----补充知识凸集 & 第二章线性规划的基本性质补充知识凸集方向与极方向表示定理择一定理第一章线性规划的基本性质 ...
【台大郭彦甫】Matlab入门教程超详细学习笔记二：基本操作与矩阵运算（附PPT链接）
Matlab入门教程超详细学习笔记二:基本操作与矩阵运算前言一.基本操作 1.把matlab当作计算器使用 2.变量 3.控制格式输出二.矩阵运算 1.矩阵 2.矩阵索引 3.使用:创建向量 4 ...
Java数据库部分（MySQL+JDBC）（一、MySQL超详细学习笔记）
所有示例使用的数据表均为Oracle提供的SQL基础数据表(t_employees.sql dept.sql emp.sql salgrade.sql) 熟练掌握多多练习即可达到完成后端开发所需具备的 ...
MITRE ATTCK超详细学习笔记-01（背景，术语，案例）
文章目录 1. ATT&CK框架简介 1.1 背景 1.2 特点 1.3 与Cyber Kill Chain的关系 2. ATT&CK相关术语 2.1 Matrix 2.2 TTPs ...

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论

1. 对偶问题的提出

2. 线性规划的对偶理论

2.1 原问题与对偶问题的关系

2.2 对偶问题的基本性质

3. 对偶单纯形法

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论相关推荐

最新文章

热门文章

陈宝林《最优化理论与算法》超详细学习笔记 （四）————第四章 对偶理论

陈宝林《最优化理论与算法》超详细学习笔记 （四）————第四章 对偶理论

1. 对偶问题的提出

2. 线性规划的对偶理论

2.1 原问题与对偶问题的关系

2.2 对偶问题的基本性质

3. 对偶单纯形法

陈宝林《最优化理论与算法》超详细学习笔记 （四）————第四章 对偶理论相关推荐

最新文章

热门文章

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论

陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论相关推荐