为什么要学习凸优化？

1、为何要学习非凸优化呢？
因为现实生活中，几乎所有问题的本质都是非凸的。目前最有效的办法也只能是利用凸优化的思路去近似求解。
例如：

● 带整数变量的优化问题，松弛之后变成凸优化问题（所以原问题其实是凸优化问题+整数变量）；

● 任意带约束的非凸连续优化问题，其对偶问题作为原问题解的一个lower bound，一定是凸的！

● 针对带有hidden variable的近似求解maximum likelihood estimate的EM算法，或者贝叶斯版本里头所谓的variational Bayes(VB) inference。而原本的MLE其实是非凸优化问题，所以EM和VB算法都是找到了一个比较好优化的concave lower bound对这个lower bound进行优化。

2、凸集和凸函数

从函数的凹凸性而言，我们通常把函数分为凸函数和非凸函数。凸函数是有且只有全局最优解的，而非凸函数可能有多个局部最优解，这些特性我会在下文中进行详细解释。在前言中，我提到过优化问题是机器学习模型中的核心部分，而针对不同模型，有不同的方法论对其目标函数进行优化。例如针对逻辑回归、线性回归这样的凸函数，使用梯度下降或者牛顿法可以求出参数的全局最优解，针对神经网络这样的非凸函数，我们可能会找到许多局部最优解。

凸集的理解：从函数图像角度讲，这个定义中的式子含义是，x、y 两点连线上的任意一个点都需要属于集合 C
凸集的性质：两个凸集的交集也是凸集。（注意，两个凸集的并集就不一定还是凸集了）．
.最近二三十年有两个算法相继成为机器学习应用的明星，一个是支持向量机（Support Vector Machine），一个是深度学习（Deep Learning）。SVM本身就是把一个分类问题抽象为凸优化问题，利用凸优化的各种工具（如Lagrange对偶）求解和解释。深度学习则是神经网络的又一次爆发，其中关键的算法是反向传播（Back Propagation），本质就是凸优化算法中的梯度下降算法，即使问题极度非凸，梯度下降还是有很好的表现，当然深度学习的机制还有待研究。凸优化的重要性，在工程领域应该说是无可撼动的了

为什么要学习凸优化？相关推荐

【BZOJ5311/CF321E】贞鱼/Ciel and Gondolas（动态规划，凸优化，决策单调性）
[BZOJ5311/CF321E]贞鱼/Ciel and Gondolas(动态规划,凸优化,决策单调性) 题面 BZOJ CF 洛谷辣鸡BZOJ卡常数!!!!!! 辣鸡BZOJ卡常数!!!!!! ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
机器学习数学基础系列|凸优化——开启新世界的大门（上）
在机器学习中,要做的核心工作之一就是根据实际问题,定义出一个目标函数,接着找到这个目标函数的最优解.在找这个最优解的过程中,你可能会生不如死~ 但是,上帝关上了你的门,总会给你打开一扇窗~ 有一类问题 ...
机器学习+优化问题的种类、如何优化、凸优化、非凸优化、对偶问题、KKT条件
机器学习+优化问题的种类.如何优化.凸优化.非凸优化.对偶问题.KKT条件目录
干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...
dp凸优化/wqs二分学习笔记（洛谷4383 [八省联考2018]林克卡特树lct）
qwq 安利一个凸优化讲的比较好的博客 https://www.cnblogs.com/Gloid/p/9433783.html 但是他的暴力部分略微有点问题 qwq 我还是详细的讲一下这个题+这个知 ...
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介 Stochastic Gradient Descent的思想 Varian ...
UA MATH567 高维统计专题3 含L1-norm的凸优化4 Nesterov方法与Accelerate Proximal Gradient
UA MATH567 高维统计专题3 含L1-norm的凸优化4 一阶方法的加速 Nesterov方法 Accelerate Proximal Gradient (APG) 梯度下降与Proximal ...
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent Proximal Gradient Descent的公式推导 Proximal O ...

为什么要学习凸优化？

为什么要学习凸优化？相关推荐

最新文章

热门文章