凸优化函数的一些概念（转）
没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二次规划，半正定规划等，从而对凸优化问题有个初步的认识。以下是几个重要相关概念的笔记。
凸集的定义为：
其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：
常见的凸集有：
n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。
凸函数的定义为：
其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值，示意图如下：
凸函数的一阶充要条件为：
其中要求f一阶可微。
二阶充要条件为：
其中要求f二阶可微，表示二阶导数需大于0才是凸函数。
按照上面的两个定义，如果f(x)=x^2肯定是凸函数，而g(x) = -x^2是非凸函数。也就是说开口向下的函数是非凸函数，但是对于这种情况可以通过添加负号变成凸函数，从而求解。
常见的凸函数有：指数函数族；非负对数函数；仿射函数；二次函数；常见的范数函数；凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。
凸优化问题（OPT）的定义为：
即要求目标函数是凸函数，变量所属集合是凸集合的优化问题。或者目标函数是凸函数，变量的约束函数是凸函数（不等式约束时），或者是仿射函数（等式约束时）。
对于凸优化问题来说，局部最优解就是全局最优解。
常见的凸优化问题包括：
线性规划（LP）：该问题是优化下面的式子：
其中那个不常见的奇怪符号表示按元素小于等于，后面出现类似符号可以类似理解。
二次规划（QP）：该问题是优化下面的式子：
二次约束的二次规划（QCQP）：该问题是优化下面的式子：
半正定规划（SDP）：该问题是优化下面的式子：
按照文章说SDP在机器学习领域应用很广，最近很流行，不过我好像没太接触到过。
参考资料：
http://cs229.stanford.edu/section/cs229-cvxopt.pdf
凸优化函数的一些概念（转）相关推荐
- 优化问题---凸优化基本概念
目录 1.凸优化到底是什么? 1.1 基本概念 1.2 凸优化和非凸优化 2.集合概念 2.1 仿射集.仿射包.仿射组合 2.2 凸集.凸包.凸组合 2.3 锥.凸锥 3.凸函数与非凸函数 4.总结 ...
- 凸优化笔记(1) —— 基本概念
凸优化笔记 -- 基本概念之凸集 1. 数学优化 基本概念 2.1 凸优化问题 2.2 线性函数与凸函数 2.3 凸集 仿射集. 2.3.2 凸集 2.3.3锥 三种集合的比较: 基本准备 本科没学过 ...
- 今天开始学Convex Optimization：引言、第1章基本概念介绍
文章目录 引言 第1章 Introduction 凸优化问题 最小二乘问题 线性规划问题 一个优化问题例子:最佳灯源问题 Chebyshev逼近问题,转化成线性规划 参考资料 2020年我自己希望多看 ...
- AI：人工智能领域之AI基础概念术语之机器学习、深度学习、数据挖掘中常见关键词、参数等5000多个单词中英文对照(绝对干货)
AI:人工智能领域之AI基础概念术语之机器学习.深度学习.数据挖掘中常见关键词.参数等5000多个单词中英文对照(绝对干货) 导读 本博主基本收集了网上所有有关于ML.DL的中文解释词汇,机 ...
- 支持向量机（SVM）复习总结
摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 7.svm和感知机的异同 8.svm和LR的异同 内容: 1.算法概述 其基本模型定义为特征空 ...
- 《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：08 自然语言处理中的机器学习方法
08 自然语言处理中的机器学习方法 8.1 机器学习的基本概念 8.1.1 ML类型 8.1.2 ML 监督学习 8.1.3 无监督学习 8.1.4 强化学习 8.2 自然语言处理应用的开发步骤 8. ...
- 《A Survey on Transfer Learning》迁移学习研究综述 翻译
迁移学习研究综述 Sinno Jialin Pan and Qiang Yang,Fellow, IEEE 摘要: 在许多机器学习和数据挖掘算法中,一个重要的假设就是目前的训练数据和将来的训练数据 ...
- 吴恩达---机器学习笔记
这是一个督促自己学习的笔记 文章目录 这是一个督促自己学习的笔记 第一节 1.1监督学习 1.2 无监督学习 第二节 2.1模型描述 2.2 代价函数 2.5 梯度下降 2.6 梯度下降知识点总结 2 ...
- 周志华机器学习：决策树
决策树 文章目录 决策树 参考 基本流程 划分选择 信息增益 决策树的生成--ID3,及其问题 增益率 决策树生成 --C4.5,及其问题 剪枝处理 预剪枝和后剪枝 统计学习方法中的剪枝 CART算法 ...
最新文章
- task文件服务器无法输入,Win10系统无法启动task scheduler服务的解决方法
- （已解决）登录火狐浏览器账号后没有同步数据--博主的奇妙寻号之旅
- 4-5：TCP协议之确认应答(ACK)机制和超时重传机制
- C#LeetCode刷题之#242-有效的字母异位词（Valid Anagram）
- 【java基础知识】判断字符串不为空
- CI/CD是什么？如何理解持续集成、持续交付和持续部署
- python-scrapy简单爬虫实现
- HDU - 2586 How far away ？（离线Tarjan算法）
- mysql 命令大小写_MySQL连接方式及大小写问题
- 字符编码 and cpp
- 原 IntelliJ IDEA 中 右键新建时，选项没有Java class的解决方法和具体解释
- hmcl整合包导入_我只用了一篇文章就完成了Spring+SpringMVC+MyBatis详细整合教程
- 对比学习系列论文CPC（一）——CPC概览
- DiskGenius(硬盘修复分区工具)5绿色专业版
- 依图科技CTO颜水成被曝离职！或加入东南亚某电商
- js实现点击切换checkbox背景图片
- 哈哈哈 一个小玩意 感觉就是一个引子 可以拿来玩
- P1757 通天之分组背包 （分组背包 模板
- 未连接到互联网的解决方法（chrome）
- 一文读懂IBIS模型