凸优化笔记(2)-凸函数的四种定义

示性函数是凸函数

凸集C⊂RnC \subset R^nC⊂Rn
fc(x)={无定义(做扩展的时候,一定要扩展到正无穷和无定义)X∈C0X∉Cf_c(x)= \begin{cases} 无定义(做扩展的时候,一定要扩展到正无穷和无定义) &X\in C \\ 0 & X \notin C \end{cases}fc(x)={无定义(做扩展的时候,一定要扩展到正无穷和无定义)0X∈CX∈/C

凸函数定义1

$f:R^n \rightarrow R 为凸函数为凸函数为凸函数\Leftrightarrow domf(x)$为凸
∀x,y∈domf,1≤θ≤1\forall x,y\in domf,1 \leq \theta \leq 1∀x,y∈domf,1≤θ≤1有:
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x +(1-\theta)y)\leq \theta f(x)+(1-\theta)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)

凸函数定义2

∀x∈domf,∀v:\forall x\in domf,\forall v:∀x∈domf,∀v:
g(t)=f(x+tv)g(t)=f(x+tv) g(t)=f(x+tv)
是凸函数，domg={t∣x+tv∈domf}domg=\{t|x+tv \in domf \}domg={t∣x+tv∈domf}

一阶条件(凸函数定义3)(低维情况)

设f:Rn→Rf:R^n\rightarrow Rf:Rn→R 可微,即梯度∇f\nabla f∇f 在domfdomfdomf上均存在,则fff为凸函数等价于
- domfdomfdomf为凸
- f(y)≥f(x)+∇fT(y−x)f(y) \geq f(x)+\nabla f^T(y-x)f(y)≥f(x)+∇fT(y−x)
证明一阶条件
$\rightarrow 考虑一维情况,需要证明考虑一维情况,需要证明考虑一维情况,需要证明f(\theta x+(1-\theta)y) \leq \theta f(x)+(1-\theta)f(y) \leftrightarrow f(y) \geq f(x)+ f^{'}(x) (y-x)$
- →\rightarrow→充分条件:f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)→f(y)≥f(x)+f′(x)(y−x)f(\theta x+(1-\theta)y) \leq \theta f(x)+(1-\theta)f(y) \rightarrow f(y) \geq f(x)+ f^{'}(x) (y-x)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)→f(y)≥f(x)+f′(x)(y−x)
  直接令θ→0\theta \rightarrow 0θ→0求极限即可
- →\rightarrow→必要条件:f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)←f(y)≥f(x)+f′(x)(y−x)f(\theta x+(1-\theta)y) \leq \theta f(x)+(1-\theta)f(y) \leftarrow f(y) \geq f(x)+ f^{'}(x) (y-x)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)←f(y)≥f(x)+f′(x)(y−x)
  令z=θx+(1−θ)yz=\theta x+(1-\theta)yz=θx+(1−θ)y分别带入上式,然后取一个凸组合即可证明

一阶条件(凸函数定义3)(高维情况)

凸函数$\rightarrow f(y)\geq f(x)+\nabla f(x)^T(y-x) $
设fff为凸函数,考虑$x,y \in domf ,令,令,令g(t)=f(x+t(y-x))$
→\rightarrow→根据凸函数第二个定义，可以知道g(t)g(t)g(t)是凸函数，而且是一维的，由一阶条件可以知道g(t1)≥g(t2)+g′(t2)(t1−t2)g(t_1) \geq g(t_2)+g^{'}(t_2)(t_1-t_2)g(t1)≥g(t2)+g′(t2)(t1−t2)
→g(1)≥g(0)+g′(0)\rightarrow g(1)\geq g(0)+g^{'}(0)→g(1)≥g(0)+g′(0)
→f(y)≥f(x)+∇f(x)(y−x)\rightarrow f(y) \geq f(x)+\nabla f(x)(y-x)→f(y)≥f(x)+∇f(x)(y−x)
$f(y)\geq f(x)+\nabla f(x)^T(y-x) \rightarrow $凸函数
→\rightarrow→令x,y∈domf,tx+(1−t)y∈domf,t^x+(1−t^)y∈domfx,y \in domf,tx+(1-t)y \in domf ,\hat{t}x+(1-\hat{t})y \in domfx,y∈domf,tx+(1−t)y∈domf,t^x+(1−t^)y∈domf
→\rightarrow→带入一阶条件
$\rightarrow f(\hat{t}x+(1-\hat{t})y) \geq f(tx+(1-t)y)+\nabla f(tx+(1-t)y)((\hat{t}-t)(x-y)) $
→\rightarrow→构造函数g(t)=f(tx+(1−t)y),g(t^)=f(t^x+(1−t^)y)g(t)=f(tx+(1-t)y),g(\hat{t})=f(\hat{t}x+(1-\hat{t})y)g(t)=f(tx+(1−t)y),g(t^)=f(t^x+(1−t^)y)
→g(t^)≥g(t)+g′(t)(t^−t)\rightarrow g(\hat{t}) \geq g(t)+g^{'}(t)(\hat{t}-t)→g(t^)≥g(t)+g′(t)(t^−t)
→\rightarrow→对于一阶条件下的上述式子可以看出g(t)g(t)g(t)是一个凸函数，也因此可以通过凸函数的第二个定义可以证明,f(x)f(x)f(x)也是一个凸函数

(二阶条件)凸函数定义4

若f:Rn→Rf:R^n \rightarrow Rf:Rn→R二阶可微,则fff为凸⇔∇2f(x)≥0,domf\Leftrightarrow \nabla^2f(x)\geq 0 ,domf⇔∇2f(x)≥0,domf为凸

凸优化笔记(2)-凸函数的四种定义相关推荐

【凸优化笔记二】凸函数基本性质和例子
[凸优化笔记二]凸函数基本性质和例子凸函数的四个定义定义一定义二定义三定义四一些栗子凸函数的四个定义定义一其中 dom fff 是函数 fff 的定义域(前域),为凸集--这个很重 ...
【数值分析】学习笔记3——凸优化1：凸函数和凸优化问题
目录前言一.凸函数(Convex Function) 1.什么是凸函数 2.凸函数的性质 (1) 凸函数上任一点的切线均位于函数下方 (2)可微凸函数极小值点(实际问题中的最优解点)的特性二.凸 ...
凸优化笔记(1) —— 基本概念
凸优化笔记 -- 基本概念之凸集 1. 数学优化基本概念 2.1 凸优化问题 2.2 线性函数与凸函数 2.3 凸集仿射集. 2.3.2 凸集 2.3.3锥三种集合的比较: 基本准备本科没学过 ...
中科大-凸优化笔记（lec25）-等价变换
全部笔记的汇总贴(视频也有传送门):中科大-凸优化 ∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一.等价变换例:食谱 ...
中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...
中科大-凸优化笔记（lec44）-一些上界下界及梯度下降
全部笔记的汇总贴(视频也有传送门):中科大-凸优化一.强凸性假设 f ( x ) f(x) f(x)二阶可微且有强凸性 ∃ m > 0 , ∀ x ∈ d o m f , ∇ 2 f ( x ...
概率的四种定义及公理化定义产生
本博文源于北京理工大学的<概率论与数理统计>.讨论四种定义分别是:古典定义.几何定义.频率定义.公理化定义. 概率的四种定义及公理化定义产生古典概型概率的古典定义古典概型的计算方法 ...
多元正态分布的四种定义
文章目录多元正态分布的四种定义一.标准定义二.特征函数三.充要性质四.标准正态分布性质多元正态分布的四种定义除标准定义外,还可以用特征函数.充要性质和标准正态分布性质来定义. 一.标准定 ...

凸优化笔记(2)-凸函数的四种定义

示性函数是凸函数

凸函数定义1

凸函数定义2

一阶条件(凸函数定义3)(低维情况)

一阶条件(凸函数定义3)(高维情况)

(二阶条件)凸函数定义4

凸优化笔记(2)-凸函数的四种定义相关推荐

最新文章

热门文章