对偶理论说明（深入理解）

我们考虑只有一个不等式约束的优化问题：

则问题的最优值可表示为：

这种最优值的表示方法不利于理解对偶性，因此定义一个集合：

是一个由所有在定义域内的所对应的函数值所构成点的集合，利用这个集合可以重写原式最优解为：

其中表示原式的的点集，表示的点集，在有定义的点集内取一个最小的对应于原问题最优值的描述，因为要求的就是。

现在假设在二维空间的图像如下图所示，并在图中作出了对应的位置。

先写出拉格朗日公式：

用刚才点集形式来表示就是：

所以拉格朗日对偶函数为：

将直线：绘制在之前得到的平面中，如下图所示：

首先，这里的，而且我们发现：，就是拉格朗日函数，上图中直线过点集的一个极小点，所以就是：，也就是是对偶函数。

我们先是要找到一个，

在可行域范围内进行上下移动，使得最小（就是最小化拉格朗日函数），这里需要满足：，就直线过就可以，所以先列出两种情况：

可以容易地得出斜率比较大和斜率比较小时，可行域内最小就是与的两个“凸出”边缘相切的时候。

到这里有一种情况已经呼之欲出了，没错，就是直线刚好与 “凸出”的两个边缘同时相切的时候。现在讲三种情况都绘制在同一张图上，如下图：

我们要从一簇中找出一个最大的这个任务也完成了，很显然就是图中的，这就是对偶最优。

可以从图中看出，在这个下是弱对偶性，绿色那段代表的即是最优对偶间隙。

如何不出现绿色区域，使得：

我们上面给出的显然是一个非凸集，现在将更换为一个凸集，如下图：

很显然，在是是凸集的情况下，最优对偶间隙为，成为强对偶。

问题：只有是凸集才满足强对偶吗？

答案当然是否定的，我们随便可以给出一个反例，比如下图这个丑丑的爪子状的东西是个非凸集，但是最优对偶间隙还是，因此我们可以得出结论：

是凸集是强对偶的充分非必要条件。这就是有名的Slater条件了。

至于强对偶的充分必要条件究竟是什么，这就涉及到另外一个更加有名的KKT条件了。