7.5 实验设计

松弛实验设计问题
标量化

考虑通过测量或实验： $y_i=a_i^Tx+w_i,i=1,\cdots m$ 估计向量 $x \in R^n$ 的问题，其中 $w_i$ 是测量噪声。假设 $w_i$ 是独立同分布的高斯噪声，均值为0，方差为1。

于是x的最大似然估计，也是最小方差估计：

$minimize \, \,\sum_{i=1}^m (y_i-a_i^Tx)^2=\sum_{i=1}^m(x^Ta_ia_i^Tx-2y_ia_i^Tx+y_i^2)$

目标函数对x求偏导，得到：

$2\sum_{i=1}^m(a_ia_i^T)x2\sum_{i=1}^ma_iy_i^Tx=2\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^ma_iy_ix2\\ =\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^my_ia_ix$

令其为0，解得 $x=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ ，故极大似然估计的解为： $\hat{x}=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ 相应的估计误差： $e=\hat{x}-x$ 均值为0，协方差矩阵：

$E=\boldsymbol{E}(ee^T)=(\sum_{i=1}^ma_ia_i^T)^{-1}$

矩阵E刻画了估计经度或是实验的信息度。

例如x的 $\alpha$ -置信水平椭圆为： $\varepsilon =\left \{ z|(z-\hat{x})^TE^{-1}(z-\hat{x})\leq \beta \right \}$

其中 $\beta$ 是常熟，由n和 $\alpha$ 决定。

假设刻画测量值的向量 $a_1,\cdots a_m$ 可以从p中可能的检验向量 $v_1,\cdots v_p \in R^n$ 进行选择，即每个 $a_i$ 是 $v_j$ 中的一个。

实验设计：从 $\left\{v_1,\cdots ,v_p \right \}$ 选择 $a_i$ 以使得E极小。

令 $m_j$ 表示 $a_i$ 选择值 $v_j$ 得试验次数，则 $m_1+\cdots +m_p=m$ ，于是协方差矩阵可以描述为：

$E = (\sum_{i=1}^ma_ia_i^T)^{-1}=(\sum_{j=1}^pm_jv_jv_j^T)^{-1}$

于是实验设计问题可以表述为：

$minimize \, \,(\sum_{j=1}^pm_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, m_i \geq 0,m_1+\cdots +m_p=m,m_i \in Z$

Z表示整数。

松弛实验设计问题

因为实验设计问题对 $m_i$ 的征整数的约束们额头很难求解，于是提出松弛实验设计问题。

在 $m\gg p$ 的时候，令 $\lambda_i=m_i/m$ 表示 $a_i=v_i$ 的试验次数与总的试验次数的比值，忽略对 $m_i$ 的整数约束，于是得到：

$minimize (S_+^n)\, \,1/m(\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

其中 $\lambda \in R^p$ 。

标量化

D-最优设计

极小化误差协方差矩阵E的绝对值，即设计实验，计息哦啊好对应的执行椭球的体积，忽略E中的常数 $1/m$ ，对目标函数求导，得到：

$minimize (S_+^n)\, \,log(det((\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} ))\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

此问题是一个凸优化问题。

E-最优设计

极小化误差协方差矩阵的范数，即E的最大特征值，即：

$minimize (S_+^n)\, \,\begin{Vmatrix} (\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \end{Vmatrix}_2\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

也可以写成：

$minimize (S_+^n)\, \,t \\ subject \, \, to \, \, (\sum_{j=1}^p\lambda_jv_jv_j^T)\geq tI,\lambda \geq 0,\boldsymbol{1}^T\lambda =1$

其中 $t \in R$

A-最优设计

极小化误差协方差矩阵的迹，即：

$minimize (S_+^n)\, \,tr (\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

最优设计实验及对偶

D-最优实验设计的对偶问题：

$minimize \, \, log(det(W))+nlogn \\ subject \, \, to \, \, v_i^TWv_i\leq 1,i=2, \cdots p$

优化变量 $W \in S^n$ ，定义域为 $S^n_{++}$ 。

解释：最优解 $W^*$ 决定了一个以原点为中心，包含点 $v_1,\cdots v_p$ 的最小体积椭球 $\left \{ x|x^TW^*x\leq 1 \right \}$

根据互补松弛性有， $\lambda_i^*(1-v_i^TW^*v_i)=0,i=1,\cdots ,p$ 。

来源：https://blog.csdn.net/wangchy29/article/details/87471247

凸优化第七章统计估计 7.5 实验设计相关推荐

凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
最优化方法(学习笔记)-第七章统计估计
Statistical estimation Logistic 回归-二分类整体分类思路最大化似然函数最大似然估计MLE 带独立同分布噪音的线性测量模型 viv_ivi是高斯分布 viv_iv ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...
精通安卓性能优化-第七章（二）
关闭Broadcast Receiver 为了保存电量,应用应该避免执行无目的的代码.在上面的实例中,当用户界面不在最前的时候去更新Textview的text是没有价值的,仅仅无必要的从电池提取能量. ...

凸优化第七章统计估计 7.5 实验设计