机器学习——凸优化基础知识

2024-05-27 16:07:37

文章目录

一、计算几何
- （一）计算几何是研究什么的
- （二）直线的表达式
二、凸集
- （一）凸集是什么
- （二）三维空间中的一个平面如何表达
- （三）更高维度的“超平面”如何表达
三、凸函数
- （一）凸函数的定义
- （二）Hessian Matrix矩阵
- （三）如何判别凸函数
四、凸规划
五、参考

一、计算几何

（一）计算几何是研究什么的

计算几何作为CAD的基础理论之一，主要研究内容是几何形体的数学描述和计算机表述，它同计算机辅助几何设计，即CAGD有着十分密切的关系。而CAGD是由微分几何、代数几何、数值计算、逼近论、拓扑学以及数控技术等形成的一门新兴边缘学科，其主要研究对象和内容是对自由形曲线、曲面的数学描述、设计、分析及图形的显示、处理等。

（二）直线的表达式

直线的表示：y=θx₁+(1-θ)x₂，θ∈R

二、凸集

（一）凸集是什么

凸集的定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。

（二）三维空间中的一个平面如何表达

1、点法式方程
法向量n=(A,B,C)，平面上的点M0(x0,y0,z0)
A(x-x0)+B(y-y0)+C(z-z0)=0
2、一般方程
Ax+By+Cz+D=0
3、截距型方程
平面上的点A(a,0,0),B(0,b,0),C(0,0,c)
x/a+y/b+z/c=0

（三）更高维度的“超平面”如何表达

超平面：{x|a^Tx=b}
where a∈Rⁿ,a≠0,and b∈R

三、凸函数

（一）凸函数的定义

凸函数是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量x1,x2有f((x₁+x₂)/2)≥f(x₁+x)/2成立

（二）Hessian Matrix矩阵

Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，利用Hessian矩阵可判定多元函数的极值问题。

（三）如何判别凸函数

1、对于一元函数f(x)，可以通过其二阶导数f’’(x)的符号来判断，如果函数的二阶导数总是负数，即f’’(x)≥0,则函数f(x)是凸函数
2、对于多元函数f(x)，可以通过其Hessian矩阵的正定性来判断，如果Hessian矩阵是半正定矩阵，则是f(x)凸函数
3、判别f(x)=x³函数是否为凸函数
①对f(x)求二阶导数 y’’=6x
②判断二阶导数的值
x>0,y’‘非负，x<0 y’'为负，所以函数不是凹函数

四、凸规划

五、参考

1、机器学习必备知识点——凸优化

机器学习——凸优化基础知识相关推荐

凸优化“傻瓜”教程-----凸优化基础知识
目录凸优化基础知识 1.AI问题是什么? 2.对于常见的优化问题,我们可以写成什么形式? 3.针对一般的优化问题,我们从哪几个方向思考? 4.什么样的问题是凸优化问题? 4.1凸优化问题需要同时满足 ...
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录 1. 凸集 2. 凸函数 2.1. 凸函数的一阶条件 2.1. 凸函数例子 3. 凸优化问题 4. 对偶 4.1. Lagrange函数与Lagrange对偶 4.2. 共轭函数 4.3. ...
机器学习算法的基础知识
机器学习算法的基础知识 1.评估指标 2.偏差与方差(过拟合与欠拟合) 3.正则化(解决过拟合) 4.梯度下降算法(算法优化方式) 5.数据不平衡 1.评估指标预测值 0 1 实际 0 TN FP ...
前端性能优化基础知识--幕课网
作为一个前端小码农,在页面样式都能实现以后,就开始考虑:同一个效果,我该用什么样的方式和代码去实现它比较规范?前两天逛幕课网发现了两门课程–<前端性能优化-基础知识认知>和<前端性能 ...
笔记｜李沐-动手学习机器学习｜CNN基础知识（视频19-23）
李沐-动手学习机器学习|CNN基础知识卷积层(视频19) 从全连接到卷积(卷积算子) 进行图像识别的两个原则如何从全连接层出发,应用以上两个原则,得到卷积卷积层二维交叉相关二维卷积层交叉相 ...
机器学习需要哪些基础知识？
机器学习需要一些基础知识,包括以下几个方面: 机器学习需要哪些基础知识? 数学基础:机器学习涉及到很多数学知识,如线性代数.微积分.概率论和统计学等.这些数学知识是理解和应用机器学习算法的基础. 编程 ...
凸优化基础学习：凸集、凸函数、凸规划理论概念学习
凸优化基础概念学习 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? 3.凸集是什么? 直线是凸集吗? ...
【001】机器学习基础-凸优化基础
为什么开篇第一件事是介绍凸优化呢,原因很简单,就是它很重要! 凸优化属于数学最优化的一个子领域,所以其理论本身也是科研领域一门比较复杂高深的研究方向,常被应用于运筹学.管理科学.运营管理.工业工程.系 ...
[机器学习] 凸优化的总结
在机器学习中,很多情况下我们想要优化一个函数.举个例子:给定一个函数 f:Rn−>R f : R n − > R f:R^n ->R,我们要找到一个 x∈Rn x ∈ R n x\i ...

最新文章

热门文章