UA SIE545 优化理论基础0 优化建模7 二值变量的应用

包含决策变量的绝对值的约束
包含决策变量的最值的约束
包含决策变量的任意分位点的约束
应用：Least Median Squared Error Regression

考虑一种看起来非常简单的约束：∣x∣≥a|x|\ge a∣x∣≥a，这个约束等价于x≥aora≤−ax \ge a\ or\ a \le -ax≥a or a≤−a，也就是说这个约束不能简单写成线性形式，因为它包含两个分支。这时我们需要引入二值变量。

包含决策变量的绝对值的约束

继续考虑∣x∣≥a|x|\ge a∣x∣≥a这个约束，假设它等价于
x≥a+g(z)andx≤−a−h(z)x \ge a + g(z) \ and\ x \le -a-h(z)x≥a+g(z) and x≤−a−h(z)

当z=0z=0z=0时，上式等价于x≤−ax\le -ax≤−a；当z=1z=1z=1时，上式等价于x≥ax\ge ax≥a，那么当z=0z=0z=0时，需要g(z)=inf⁡,h(z)=0g(z)=\inf, h(z)=0g(z)=inf,h(z)=0；当z=1z=1z=1时，需要g(z)=0,h(z)=inf⁡g(z)=0, h(z)=\infg(z)=0,h(z)=inf。因为inf⁡\infinf并不标准，我们只是用它表示一个非常大的数，因此可以正式地定义一个MMM，满足∀ϵ>0,M>ϵ\forall \epsilon>0, M>\epsilon∀ϵ>0,M>ϵ。从而构造：
g(z)=M(1−z),h(z)=Mzg(z) = M(1-z),\ h(z)= Mzg(z)=M(1−z), h(z)=Mz

显然
∣x∣≥a⇔x≥a+M(1−z)andx≤−a−Mz|x|\ge a \Leftrightarrow x \ge a + M(1-z) \ and\ x \le -a-Mz∣x∣≥a⇔x≥a+M(1−z) and x≤−a−Mz

包含决策变量的最值的约束

有两种约束是非常简单，比如
min⁡(x1,⋯,xn)≥a⇔x1≥a,x2≥a,⋯,xn≥amax⁡(x1,⋯,xn)≤b⇔x1≤a,x2≤a,⋯,xn≤a\min(x_1,\cdots,x_n) \ge a \Leftrightarrow x_1 \ge a, x_2 \ge a,\cdots,x_n \ge a \\ \max(x_1,\cdots,x_n) \le b \Leftrightarrow x_1 \le a, x_2 \le a,\cdots,x_n \le amin(x1,⋯,xn)≥a⇔x1≥a,x2≥a,⋯,xn≥amax(x1,⋯,xn)≤b⇔x1≤a,x2≤a,⋯,xn≤a

现在考虑更复杂的情况，假设min⁡(x1,⋯,xn)≤a\min(x_1,\cdots,x_n) \le amin(x1,⋯,xn)≤a，这个约束的含义是∃k∈{1,⋯,n},xk≤a\exists k \in \{1,\cdots,n\},x_k\le a∃k∈{1,⋯,n},xk≤a，也就是至少有一个决策变量不大于aaa，其他的无所谓。因此我们可以引入一系列用于选择的二值变量{zi}i=1n\{z_i\}_{i=1}^n{zi}i=1n，zi=1z_i=1zi=1表示xi≤ax_i \le axi≤a，根据绝对值部分构造的分支选择的结构，min⁡(x1,⋯,xn)≤a\min(x_1,\cdots,x_n) \le amin(x1,⋯,xn)≤a等价于
∀i,xi≤a+M(1−zi),∑i=1nzi=1\forall i, x_i \le a +M(1-z_i), \sum_{i=1}^n z_i = 1∀i,xi≤a+M(1−zi),i=1∑nzi=1
另一种情况是max⁡(x1,⋯,xn)≥a\max(x_1,\cdots,x_n) \ge amax(x1,⋯,xn)≥a，这个约束的含义是∃k∈{1,⋯,n},xk≥a\exists k \in \{1,\cdots,n\},x_k\ge a∃k∈{1,⋯,n},xk≥a，也就是至少有一个决策变量不小于aaa，其他的可以自由取值。同样引入一系列用于选择的二值变量{zi}i=1n\{z_i\}_{i=1}^n{zi}i=1n，zi=1z_i=1zi=1表示xi≥ax_i \ge axi≥a，max⁡(x1,⋯,xn)≥a\max(x_1,\cdots,x_n) \ge amax(x1,⋯,xn)≥a等价于
∀i,xi≥a−M(1−zi),∑i=1nzi=1\forall i, x_i \ge a -M(1-z_i), \sum_{i=1}^n z_i = 1∀i,xi≥a−M(1−zi),i=1∑nzi=1

包含决策变量的任意分位点的约束

考虑这样的约束，x(k)x_{(k)}x(k)表示决策变量的第kkk个次序统计量，考虑约束x(k)≤ax_{(k)} \le ax(k)≤a，它的涵义是在nnn个决策变量中至少有kkk个不大于aaa，引入一系列用于选择的二值变量{zi}i=1n\{z_i\}_{i=1}^n{zi}i=1n，zi=1z_i=1zi=1表示xi≤ax_i \le axi≤a，同样利用分支结构：
∀i,xi≤a+M(1−zi),∑i=1nzi=k\forall i, x_i \le a +M(1-z_i), \sum_{i=1}^n z_i = k∀i,xi≤a+M(1−zi),i=1∑nzi=k

应用：Least Median Squared Error Regression

沿用优化建模3的设定：考虑一元线性回归问题，假设数据集为{(xi,yi),i=1,⋯,n}\{(x_i,y_i),i=1,\cdots,n\}{(xi,yi),i=1,⋯,n}，假设被解释变量为yyy，解释变量为xxx，并且二者是线性关系
y=β0+β1xy = \beta_0 + \beta_1 xy=β0+β1x

一种Robust regression技术是Least Median Squared Error Regression，也就是
min⁡median(yi−(β0+β1xi))2\min median (y_i-(\beta_0+\beta_1x_i))^2minmedian(yi−(β0+β1xi))2

根据优化模型的性质，这个优化等价于
min⁡median(yi−(β0+β1xi))\min median (y_i-(\beta_0+\beta_1x_i))minmedian(yi−(β0+β1xi))

令u=median(yi−(β0+β1xi))=median(ϵi)u=median (y_i-(\beta_0+\beta_1x_i))=median( \epsilon_i)u=median(yi−(β0+β1xi))=median(ϵi)，上面的优化可以进一步等价为
min⁡us.t.u≥median(ϵi)\min u \\ s.t. \ u \ge median( \epsilon_i)minus.t. u≥median(ϵi)

这个约束的含义是在nnn个ϵi\epsilon_iϵi中至少有一半不大于uuu，根据上文的结论，引入一系列用于选择的二值变量{zi}i=1n\{z_i\}_{i=1}^n{zi}i=1n，zi=1z_i=1zi=1表示ϵi≤a\epsilon_i \le aϵi≤a，则优化等价于
min⁡us.t.∀i,yi−(β0+β1xi)≤u+M(1−zi)∑i=1nzi=[(n+1)/2]\min u \\ s.t. \ \forall i, y_i-(\beta_0+\beta_1x_i) \le u+M(1-z_i) \\ \sum_{i=1}^n z_i = [(n+1)/2]minus.t. ∀i,yi−(β0+β1xi)≤u+M(1−zi)i=1∑nzi=[(n+1)/2]

这就化归成了一个线性规划。

UA SIE545 优化理论基础0 优化建模7 二值变量的应用相关推荐

UA SIE545 优化理论基础0 优化建模3 线性回归的参数估计问题
UA SIE545 优化理论基础0 优化建模3 线性回归的参数估计问题 OLS Least Absolute Deviation (LAD) Least Max Deviation (LMD) Lea ...
UA SIE545 优化理论基础0 优化建模6 罐头的尺寸设计
UA SIE545 优化理论基础0 优化建模6 罐头的尺寸设计我们的目标是设计一种罐头,这种罐头产品按件出售,一件12个罐头,按3行一行四个的形式排列,同时有以下信息: V0V_0V0:罐头的最小 ...
UA SIE545 优化理论基础0 优化建模1 优化问题的基本形式
UA SIE545 优化理论基础0 优化建模1 优化问题的基本形式优化问题的基本形式确定性优化问题随机优化问题 Stochastic Programming(SP) Robust Optimiz ...
AR学习笔记（七）：阈值二值化优化与颜色分割的优化
AR学习笔记(七):阈值二值化优化与颜色分割的优化阈值二值化的优化当前方案图像预处理阈值二值化优化方案 otsu法顶帽变换分块阈值法颜色分割的优化当前方案优化方案 HSV模型分割 ...
UA SIE545 优化理论基础1 例题1 常见的凸集
UA SIE545 优化理论基础1 例题1 常见的凸集一些例题在优化理论中,我们主要讨论下面几种凸集: 超平面:{x:pTx=β}\{x:p^Tx=\beta\}{x:pTx=β} 半空间:{x: ...
UA SIE545 优化理论基础用Farkas定理证明Farkas类的结论
UA SIE545 优化理论基础用Farkas定理证明Farkas类的结论 Farkas定理 AAA是一个m×nm\times nm×n的矩阵,下面两个系统有且仅有一个有解: I:Ax≤0,cTx& ...
UA SIE545 优化理论基础函数凸性的一些有趣的判断方法
UA SIE545 优化理论基础函数凸性的一些有趣的判断方法 Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is a nonempty ...
UA SIE545 优化理论基础例题对偶函数的凸性与次梯度计算
UA SIE545 优化理论基础例题对偶函数的凸性与次梯度计算例考虑对偶函数 θ(u1,u2)=min⁡x12+x22≤4x1(2−u1)+x2(3−u2)\theta(u_1,u_2) = ...
UA SIE545 优化理论基础2 凸函数概念理论总结
UA SIE545 优化理论基础2 凸函数概念理论总结凸函数的概念与简单性质 Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is ...

UA SIE545 优化理论基础0 优化建模7 二值变量的应用

UA SIE545 优化理论基础0 优化建模7 二值变量的应用

包含决策变量的绝对值的约束

包含决策变量的最值的约束

包含决策变量的任意分位点的约束

应用：Least Median Squared Error Regression

UA SIE545 优化理论基础0 优化建模7 二值变量的应用相关推荐

最新文章

热门文章