projection theorem

给定一个非零向量 x\mathbf{x}x, 考虑内部优化问题( inner optimization problem)：
min⁡R∼(μ,Σ)E[u(x′R)]\mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})]R∼(μ,Σ)minE[u(x′R)] 其中 uuu 是效用函数。

显然，对于每个可行的随机变量 R∼(μ,Σ)\mathbf{R}\sim(\mu,\Sigma)R∼(μ,Σ)，它对应的投射随机变量(projected random variable) rx=x′R\mathbf{r}_x=x'\mathbf{R}rx=x′R 的均值为 μx=x′μ\mu_x=x'\muμx=x′μ，方差为 σx2=x′Σx\sigma_x^2=x'\Sigma xσx2=x′Σx。因此 rx\mathbf{r}_xrx 是 min⁡r∼(μx,σx2)E[u(r)]\mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})]r∼(μx,σx2)minE[u(r)] 的可行解，从而 min⁡R∼(μ,Σ)E[u(x′R)]≥min⁡r∼(μx,σx2)E[u(r)]\mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})]\ge \mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})]R∼(μ,Σ)minE[u(x′R)]≥r∼(μx,σx2)minE[u(r)]

Popescu的文章中证明了，不管 uuu 取何种效用函数，有：

投射定理. min⁡R∼(μ,Σ)E[u(x′R)]=min⁡r∼(μx,σx2)E[u(r)]\mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})] =\mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})]R∼(μ,Σ)minE[u(x′R)]=r∼(μx,σx2)minE[u(r)]

Remark. 这里 RRR 是个随机向量，r=x′Rr=x'Rr=x′R 则变为一个随机值。所以，投射定理本质上就是说将一个随机向量分布的优化问题投射到随机值分布上去。

Example. [2] 中的定理2：给定 s0∈R,s∈Rn,s≠0,α>0s_0\in\mathbb{R}, \mathbf{s}\in\mathbb{R}^n, \mathbf{s}\neq0,\alpha>0s0∈R,s∈Rn,s̸=0,α>0，那么存在 v0∈R,v∈Rn,V∈S+nv_0\in\mathbb{R}, \mathbf{v}\in\mathbb{R}^n, \mathbf{V}\in\mathbb{S}_+^nv0∈R,v∈Rn,V∈S+n 使得下面的约束条件成立
(1)v0+tr(ΣV)≤α v_0 + \text{tr}(\mathbf{\Sigma}\mathbf{V})\leq \alpha\qquad\;\tag{1}v0+tr(ΣV)≤α(1) (2)[v0−s0(v−s)′2v−s2V]∈S+n\begin{bmatrix} v_0-s_0 & \frac{(\mathbf{v}-\mathbf{s})'}{2} \\ \frac{\mathbf{v}-\mathbf{s}}{2} & \mathbf{V} \end{bmatrix}\in\mathbb{S}_+^n\tag{2}[v0−s02v−s2(v−s)′V]∈S+n(2) (3)[v0v′2v2V]∈S+n \begin{bmatrix} v_0 & \frac{\mathbf{v}'}{2} \\ \frac{\mathbf{v}}{2} & \mathbf{V} \end{bmatrix}\in\mathbb{S}_+^n\qquad\quad\;\tag{3}[v02v2v′V]∈S+n(3) 当且仅当 (4)s′Σs≤4α(α−s0)\mathbf{s}'\mathbf{\Sigma}\mathbf{s} \leq 4\alpha(\alpha-s_0)\tag{4}s′Σs≤4α(α−s0)(4)

此定理的证明，[2] 说可以用投射定理以及其它结果来证明，同时他给出了直接的证明。实际上，在接触到投射定理之前，我已经有了比较类似的直觉，这种直觉（或者说不严格的技巧）本质上就是投射定理。下面我们用这种直觉来处理上面的定理（这种直觉是应用投射定理的很好的途径）。

拉马努金似的证明：（投射定理的本质）令
v=rs,V=t ss′\mathbf{v}=r\mathbf{s}, \mathbf{V}=t\,\mathbf{s}\mathbf{s}'v=rs,V=tss′ 其中 t≥0t\ge 0t≥0，这样就将 v,V\mathbf{v}, \mathbf{V}v,V 转换为两个实数变量 r,tr,tr,t。
这样 (2 ) 变为
[v0−s0r−12s′r−12st ss′]∈S+n\begin{bmatrix} v_0-s_0 & \frac{r-1}{2}\mathbf{s}' \\ \frac{r-1}{2}\mathbf{s} & t\,\mathbf{s}\mathbf{s}' \end{bmatrix}\in\mathbb{S}_+^n[v0−s02r−1s2r−1s′tss′]∈S+n 由此可得到
(5){v0≥s0r≥1t≥(r−1)24(v0−s0)\begin{cases} v_0\ge s_0 \\ r\ge 1 \\ t\ge \frac{(r-1)^2}{4(v_0-s_0)} \end{cases} \tag{5}⎩⎪⎨⎪⎧v0≥s0r≥1t≥4(v0−s0)(r−1)2(5) 类似地，(3) 变为
[v0r2s′r2st ss′]∈S+n\begin{bmatrix} v_0 & \frac{r}{2}\mathbf{s}' \\ \frac{r}{2}\mathbf{s} & t\,\mathbf{s}\mathbf{s}' \end{bmatrix}\in\mathbb{S}_+^n[v02rs2rs′tss′]∈S+n 可推得 (6){v0≥0t≥r24v0\begin{cases} v_0\ge 0 \\ t\ge \frac{r^2}{4v_0} \end{cases} \tag{6}{v0≥0t≥4v0r2(6) 进而我们有
(7)t≥14v0≥14αt\ge \frac{1}{4 v_0}\ge\frac{1}{4\alpha} \tag{7}t≥4v01≥4α1(7) 其中第一个不等号由 (5) 和 (6) 可得，第二个不等号由（1）推得。
最后，对（1）做投射可得
v0+t s′Σs≤αv_0+t\,\mathbf{s}'\Sigma\mathbf{s}\leq\alphav0+ts′Σs≤α 利用 (5) 和 (7) 式即可推出 s′Σs≤4α(α−s0)\mathbf{s}'\Sigma\mathbf{s}\leq 4\alpha(\alpha-s_0)s′Σs≤4α(α−s0)算毕。

Remark. 拉马努金不是帮助我们证明定理的，而是帮助我们发现定理的。

参考文献
[1] Popescu, Ioana. 2007. Robust mean-covariance solutions for stochastic optimization. Operations Research 55(1) 98–112.
[2] Yu Zhang, Roberto Baldacci, Melvyn Sim, Jiafu Tang, Routing optimization with time windows under uncertainty, Math. Program

projection theorem相关推荐

实用线性代数和凸优化 Convex Optimization
If not specified, the following conditions are assumed. X∈Rn∗mA∈Rm∗nX \in R^{n*m} \\ A \in R^{m*n} X ...
泛函分析4——希尔伯特空间
文章目录它只是为了凑个标题 3 Hilbert Spaces 3.1Introduction Definition Example Theorem Corollary 3.2 Hilbert Spa ...
凸优化笔记（非常零碎）
1. Lipschitz Funcion(李比西斯函数) 对于不光滑(nonsomooth)的凸函数的分析引入了Lipschitz functions: 定义: 2.Nonexpansiveness ...
【论文笔记之 APA】an adaptive filtering algorithm using an orthogonal projection to an affine subspace ...
本文对 Kazuhiko Ozeki 等人于 1984 年在 Electronics and Communications in Japan (Part I: Communications) 上发表的 ...
6.8 The Primary Decomposition Theorem
这个定理(Theorem 12)可能是非计算导向的线性代数课中比较重要的定理之一,也许比它重要的就是Spectral Theory了.这一定理从一个operator TTT的minimal polyn ...
URP Panini Projection 魔法
URP Panini Projection 魔法然而,并没有文字记录这些非凡的视角是如何构建的! 文章目录 URP Panini Projection 魔法 1 帕尼尼投影是什么 2 Unity 实 ...
《OpenCV3编程入门》学习笔记9 直方图与匹配（四）反向投影（back projection）
9.4 反向投影(back projection) 9.4.1 反向投影原理 1.基本思想: 反向投影中储存的数值代表了图像中该像素属于区域的概率,计算某一特征的直方图模型,使用模型寻找图像中存在 ...
ADPRL - 近似动态规划和强化学习 - Note 5 - Banach Fixed Point Theorem in Dynamic Programming
动态规划中的巴拿赫不动点定理 5. Banach Fixed Point Theorem in Dynamic Programming 5.1 巴拿赫不动点定理定理 (Banach fixed poi ...
Storm Trident示例function, filter, projection
以下代码演示function, filter, projection的使用,可结合注释省略部分代码,省略部分可参考:https://blog.csdn.net/nickta/article/deta ...
Rouche Theorem（Stein复分析）
Rouche Theorem: \quadIffandgareholomorphicfunctionsinaregionΩcontainingacircleCanditsinterior,and∣f( ...

projection theorem

projection theorem相关推荐

最新文章

热门文章