凸函数和非凸函数---and why

原文：凸优化和非凸优化 - CSDN博客 https://blog.csdn.net/kebu12345678/article/details/54926287

数学中最优化问题的一般表述是求取 $x^{*}\in \chi$ ，使 $f(x^{*} )=min\{f(x):x\in \chi \}$ ，其中 $x$ 是n维向量， $\chi$ 是 $x$ 的可行域， $f$ 是 $\chi$ 上的实值函数。
凸优化问题是指 $\chi$ 是闭合的凸集且 $f$ 是 $\chi$ 上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。

其中， $\chi$ 是凸集是指对集合中的任意两点 $x_{1},x_{2}\in \chi$ ，有 $tx_{1}+(1-t)x_{2}\in \chi,t\in[0,1]$ ，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集，则涉及到闭集的定义，而闭集的定义又基于开集，比较抽象，不赘述，这里可以简单地认为闭合的凸集是指包含有所有边界点的凸集。

注意：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在某些中国大陆的数学书中指凹函数。Concave Function指凸函数。但在中国大陆涉及经济学的很多书中，凹凸性的提法和其他国家的提法是一致的，也就是和数学教材是反的。举个例子，同济大学高等数学教材对函数的凹凸性定义与本条目相反，本条目的凹凸性是指其上方图是凹集或凸集，而同济大学高等数学教材则是指其下方图是凹集或凸集，两者定义正好相反。

为什么要求是凸函数呢？因为如果是下图这样的函数，则无法获得全局最优解。

为什么要求是凸集呢？因为如果可行域不是凸集，也会导致局部最优

实际建模中判断一个最优化问题是不是凸优化问题一般看以下几点：

目标函数 $f$ 如果不是凸函数，则不是凸优化问题
决策变量 $x$ 中包含离散变量（0-1变量或整数变量），则不是凸优化问题
约束条件写成 $g(x)\le0$ 时， $g$ 如果不是凸函数，则不是凸优化问题

之所以要区分凸优化问题和非凸的问题原因在于凸优化问题中局部最优解同时也是全局最优解，这个特性使凸优化问题在一定意义上更易于解决，而一般的非凸最优化问题相比之下更难解决。

非凸优化问题如何转化为凸优化问题的方法：
1）修改目标函数，使之转化为凸函数
2）抛弃一些约束条件，使新的可行域为凸集并且包含原可行域

凸函数和非凸函数---and why相关推荐

成本函数 J(θ) 的函数图形------凸函数与非凸函数
凸函数:只有一个局部最低点图源:http://blog.sina.com.cn/s/blog_185fa86010102yp0p.html 非凸函数:有多个局部最低点,一个全局最低点. 因此 J(θ ...
凸集+非凸集+凸函数+非凸函数
凸集+非凸集+凸函数+非凸函数凸数据+非凸数据定义是什么? 什么是凸样本集和非凸样本集? 凸函数,非凸函数? 凸集的定义:集合C内的任意取两点,形成的线段均在集合C内,则称集合C为凸集.仿射集一定是 ...
非凸函数上，随机梯度下降能否收敛？能，但有条件，且比凸函数收敛更难
©作者 | 陈萍.杜伟来源 | 机器之心非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP 困难).那么随机梯度下降能否收敛于非 ...
理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效，对于理论计算机科学而言是一大挑战
理解为何用期望最大化或梯度下降等启发式方法处理非凸函数在实际中如此有效,对于理论计算机科学而言是一大挑战一本关于理论计算机科学和机器学习之间关联的高水平.快节奏的集大成之作-<机器学习算法&g ...
【机器学习】凸集、凸函数、凸优化、凸优化问题、非凸优化问题概念详解
目录 1 基本概念 2 凸优化问题 3 非凸优化问题 4 总结 1 基本概念 (1)凸集和非凸集凸集是一个点集, 这个点集有一个性质, 就是在这个集合中任取不同的两个点x和y, 他们之间的线段(包括 ...
机器学习系列(22)_SVM碎碎念part5：凸函数与优化
原文地址:SVM - Understanding the math - convex-functions/ by Brandon Amos 感谢参与翻译同学:@程亚雄 && @张蒙 & ...
对凸优化（Convex Optimization）的一些浅显理解
©作者 | 李航前单位 | EPFL 研究方向 | 计算机图形学与三维视觉最近学习了一些凸优化课程,整理笔记的同时写下一些自己的理解,向着头秃的道路上越走越远. 凸优化是应用数学的一个基本分支,几 ...
USC提出拟牛顿法深度学习优化器Apollo，效果比肩SGD和Adam
©作者 | Xuezhe Ma 单位 | USC助理教授研究方向 |NLP.机器学习摘要本文介绍了 Apollo,一种针对非凸随机优化的拟牛顿方法.它通过对角矩阵逼近 Hessian,动态地将损 ...
给书配代码-电力经济调度（1）：基于拉格朗日及运筹规划方法的经济调度算法
电气博文传送门学好电气全靠它,个人电气博文目录(持续更新中-) 知识点电力经济调度(Economic Dispatch, ED)的目标是追求某个研究时段内所有开机机组(Committed Unit ...

凸函数和非凸函数---and why

凸函数和非凸函数---and why相关推荐

最新文章

热门文章