4.1优化问题

基本术语
问题的标准表示
等价问题
参数与谕示问题描述

基本术语

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

$x \in R^n$ 是优化变量也叫决策变量。

$f_0:R^n \rightarrow R$ 为目标函数，或者费用函数。

$f_i:R^n \rightarrow R,i=1,\cdots m$ 是不等式约束函数。

$h_i:R^n \rightarrow R$ 是等式约束函数。

如果m=p=0，即没有约束，此时问题为无约束问题。

在实际生活中可以这样理解该优化问题，即我们要生产产品，其数量为x，要确定生产数量以使得费用最低，而约束函数则可以理解为在实际产生中受到的限制比如资源消耗等。

问题的定义域： $D=(\bigcap dom(f_i))\cap (\bigcap dom(h_i))$

可行点： $x \in D,f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p$ ，此时x是可行的，x为可行点。

可行集：所以有可行点的集合。

问题的最优值 $p^*=inf \left\{ f_0(x)|f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p\right \}$

如果问题不可行， $p^*=\infty$ 。如果存在可行解 $x_k:k\rightarrow \infty ,f_0(x_k)\rightarrow -\infty$ ，那么 $p^*=-\infty$ ，此时称问题无下界。

最优点和局部最优点

如果 $x^*$ 是可行的且 $f_0(x^*)=P^*$ ，我们称 $x^*$ 为最优点（解），所有最优解的集合称为最优集，记为 $X_{opt}=\left \{x|f_i(x)\leq 0,i=1,\cdots m,h_i(x)=0,i=1,\cdots p,f_0(x)=p^* \right \}$

称x为局部最优，如果存在 $R>0,f_0(x)=inf\left\{f_0(z)|f_i(z)\leq 0,i=1,\cdots m,h_i(z)=0,i=1,\cdots p,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R \right \}$

即，x是关于z的优化问题的解：

$minimize\, \, f_0(z) \\ subject\, \, to\, \, \begin{matrix} f_i(z)\leq 0& i=1,\cdots m \\ h_i(z)=0&i=1,\cdots p \\ \begin{Vmatrix} z-x \end{Vmatrix}_2\leq R & \end{matrix}$

例子：

$f_0(x)=1/x,dom(f_0)=R_{++}:p^*=0$ ，但是没有最优点。

$f_0(x)=-log(x),dom(f_0)=R_{++}:p^*=-\infty$ 。

$f_0(x)=xlog(x),dom(f_0)=R_{++},p^*=-1/e,x=1/e$ 是最优点。

$f_0(x)=x^3-3x,p^*=-\infty$ ，但有局部最优点在x=1。

min VS minimize

minimize不是min。min是一个取最小值的函数，比如min{0,-1,2}=-1。minimize是优化问题中的一部分，不是对一组数中取出最小值，而是针对一个目标函数，找到使目标函数最小的点。

问题的标准表示

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

为问题的标准表示形式。

如果是极大问题，即

$maximize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ h_i(x)=0&i=1,\cdots p \end{matrix}$

可以将目标函数理解为效用函数。极大化问题变极小化问题只需对目标函数取相反数。

等价问题

如果从一个问题的解，很容易就能得到另一个问题的解，反之亦然，则称两个问题是等价的。

产生等价问题的变换包括：变量变换、目标函数与约束函数变换、松弛变量、消除等式约束、消除线性等式约束、引入等式约束、优化部分变量、上境图问题形式、隐式与显示约束。这里只简单介绍变量变换、目标函数与约束函数变换、消除等式约束。其他的在4.2节。

变量变换

$\phi :R^n\rightarrow R^n$ 是一一映射，其像包含定义域D，即 $\phi(dom \phi)\supseteq D$ ，定义函数 $\tilde{f_i}(z)=f_i(\phi(z)),i=0,\cdots m,\tilde{h_i}(z)=h_i(\phi(z)),i=1,\cdots p,$

问题变为：

$minimize\, \, \tilde {f_0}(z) \\ subject\, \, to\, \, \begin{matrix} \tilde {f_i}(z)\leq 0& i=1,\cdots m \\ \tilde {h_i}(z)=0&i=1,\cdots p \end{matrix}$

目标函数与约束函数变换

$\varphi _0:R\rightarrow R$ 单增， $\varphi _1,\varphi_2\cdots \varphi_m:R\rightarrow R$ 满足当且仅当 $u\leq 0$ 时， $\varphi _i(u)=0$ , $\varphi _{m+1},\varphi_{m+2}\cdots \varphi_{m+p}:R\rightarrow R$ 满足当且仅当 $u= 0$ 时， $\varphi _i(u)=0$ ，则定义函数：

$\tilde{f_i}(x)=\varphi _i(f_i(x)),i=0,\cdots m,\tilde{h_i}(x)=\varphi _{m+i}(h_i(x)),i=1,\cdots p$ ，问题变为：

$minimize\, \, \tilde {f_0}(x) \\ subject\, \, to\, \, \begin{matrix} \tilde {f_i}(x)\leq 0& i=1,\cdots m \\ \tilde {h_i}(x)=0&i=1,\cdots p \end{matrix}$

消除等式约束

利用参数 $z\in R^k$ 来显示地参数化等式约束 $h_i(x)=0,i=1,\cdots p$ ，设函数 $\phi :R^k\rightarrow R^n$ 满足：x满足等式榆树等价于存在一些 $z\in R^k$ 使得， $x=\phi (z)$ ，于是问题变为：

$minimize\, \, \tilde {f_0}(z)=f_0(\phi(z)) \\ subject\, \, to\, \, \begin{matrix} \tilde {f_i}(z)=f_i(\phi(z))\leq 0& i=1,\cdots m \end{matrix}$

参数与谕示问题描述

参数问题描述：对于一个问题为确定目标函数，我们给出函数的系数。即待解决的特定问题被出现在目标和约束函数中的函数参数决定。

谕示问题描述：无法显示地知道f，但对于每个在f的定义域内的x，可以计算得到f(x)。

凸优化第四章凸优化问题 4.1优化问题相关推荐

凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
mysql status uptime_MySQL优化（四）慢查询的定位及优化
一.SQL语句优化的一般步骤: (1)通过 show status 命令了解各种 SQL 的执行效率: (2)定位执行效率较低的 SQL 语句(重点是 Select): (3)通过 explain 分 ...
【数据库原理及应用】经典题库附答案（14章全）——第四章：关系系统及其优化
[数据库原理及应用]经典题库附答案(14章全)--第一章:数据库基础知识 [数据库原理及应用]经典题库附答案(14章全)--第二章:关系数据库知识 [数据库原理及应用]经典题库附答案(14章全)--第 ...
【机器学习】凸集、凸函数、凸优化、凸优化问题、非凸优化问题概念详解
目录 1 基本概念 2 凸优化问题 3 非凸优化问题 4 总结 1 基本概念 (1)凸集和非凸集凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括 ...
Android群英传知识点回顾——第四章：ListView常用优化技巧
Android群英传知识点回顾--第四章:ListView常用优化技巧知识点目录 4.1 ListView常用优化技巧 4.1.1 使用ViewHolder模式提高效率 4.1.2 设置项目间分割线 ...
《C++性能优化指南》 linux版代码及原理解读第四章
目录概述为什么字符串很麻烦字符串是动态分配的字符串赋值背后的操作如何面对字符串会进行大量复制写时复制COW(copy on write) 尝试优化字符串避免临时字符串通过预留存储空间减 ...
凸优化学习：PART3凸优化问题（持续更新）
凸优化问题凸优化问题的广义定义: 目标函数为凸函数约束集合为凸集一.优化问题基本用语一般优化问题的描述: minimize ⁡ f 0 ( x ) subject to f i ( x ) ...
《C++应用程序性能优化::第五章动态内存管理》学习和理解
<C++应用程序性能优化::第五章动态内存管理>学习和理解说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版. 2010.8.29 cs_wuyg@126.com ...
（数据库系统概论|王珊）第九章关系查询处理和关系优化-第三节：查询优化之代数优化
注意: 关系代数有关符号,大家可能又不熟悉了,点击跳转:(数据库系统概论|王珊)第二章关系数据库-第四节:关系代数文章目录一:关系代数表达式等价变换规则 (1)连接.笛卡尔积.并.交的交换律 (2 ...
【数据库】第三章事务、索引和SQL优化
[数据库]第三章事务.索引和SQL优化文章目录 [数据库]第三章事务.索引和SQL优化一.事务 1.原子性 2.持久性 3.隔离性 4.一致性二.索引 1.介绍 2.分类 3.底层实现 4. ...

凸优化第四章凸优化问题 4.1优化问题