机器学习数学基础--凸优化

1.计算几何是研究什么的？
2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？
- **在计算几何理论中（或凸集中）的表达式**
- **在初中数学中的表达式**
- **两者对比**
3.凸集是什么？直线是凸集吗？是仿射集吗？
- **凸集是什么？**
- **直线是凸集吗？**
- **直线是仿射集吗？**
4.三维空间中的一个平面，如何表达？
5.更高维度的“超平面”，如何表达？
6.什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？
- **什么是“凸函数”定义？**
- **什么是Hessian Matrix 矩阵?**
- **如何判别一个函数是凸函数？**
- **f(x)=x^3 函数是凸函数吗**
7.什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？
- **什么是“凸规划”？**
- **如何判别一个规划问题是凸规划问题**
- **下例是凸规划问题吗**
参考资料

1.计算几何是研究什么的？

计算几何研究的对象是几何图形，研究几何模型和数据处理的学科，讨论几何形体的计算机表示、分析和综合，研究如何方便灵活、有效地建立几何形体的数学模型以及在计算机中更好地存贮和管理这些模型数据。

2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？

在计算几何理论中（或凸集中）的表达式

过两点的一条直线表达式：
y = θ x 1 + ( 1 − θ ) x 2 ( x 1 ≠ x 2 ) y=\theta x_1+(1-\theta)x_2\quad(x_1\not=x_2) y=θx1+(1−θ)x2(x1=x2)

在初中数学中的表达式

直线的两点方程式推导过程：
（1）设直线L上的两点P1、P2的坐标分别为 ( x 1 , y 1 ) 、 ( x 2 , y 2 ) ，且 ( x 1 ≠ x 2 ) (x_1,y_1)、(x_2,y_2)，且(x_1≠x_2) (x1,y1)、(x2,y2)，且(x1=x2)
则直线L的斜率为：
K = y 2 − y 1 x 2 − x 1 K=\frac{y_2-y_1}{x_2-x_1} K=x2−x1y2−y1
(2)在直线L上任取一点P(x, y）
将直线l的斜率K，P点的坐标代入直线的点斜式方程 y − y 0 = k ( x − x 0 ) y-y_0=k(x-x_0) y−y0=k(x−x0)中得:
y − y 1 = y 2 − y 1 x 2 − x 1 ∗ ( x − x 1 ) y-y_1=\frac{y_2-y_1}{x_2-x_1}*(x-x_1) y−y1=x2−x1y2−y1∗(x−x1)
化简得：
y − y 1 y 2 − y 1 = x − x 1 x 2 − x 1 \frac{y-y_1}{y_2-y_1}=\frac{x-x_1}{x_2-x_1} y2−y1y−y1=x2−x1x−x1
即为直线L的两点式方程。

两者对比

区别的对象	两者的区别
几何理论	广泛的表示n维欧式空间内所有的两个点连成的直线，它能够表达二维平面上的任何直线。
初中数学	是一个直观的几何对象，二维坐标系（平面）中求解的直线方程，是初中生在二维空间了解直线的起点。两点式方程不能用来表示坐标轴或与坐标轴平行的直线。

3.凸集是什么？直线是凸集吗？是仿射集吗？

凸集是什么？

在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。

直线是凸集吗？

在一维空间中，凸集是单点或一条不间断的线，所以直线是凸集。

直线是仿射集吗？

仿射集亦称仿射流形、线性流形、仿射簇，是实线性空间中的一类子集。
仿射集是指欧氏空间Rⁿ 中具有以下性质的点集 M ：对任意 x , y ∈ M x,y\in M x,y∈M，以及任意实数λ ，总有 ( 1 − λ ) x + λ y ∈ M (1 - λ)x+λy\in M (1−λ)x+λy∈M。不难证明，包含原点的仿射集 M 是Rⁿ的子空间，反之亦然。此外，可以证明，对于不含原点的非空仿射集 M ，必有唯一的子空间 L 以及 a ∈ R n a\in R^n a∈Rn使 M = L + a : = { x + a ∣ x ∈ L } M=L+a:= \lbrace x+a|x\in L \rbrace M=L+a:={x+a∣x∈L}。
非空间射集 M 的维数定义为上述子空间 L 的维数。空集的维数定义为-1。维数分别为0、1，以及2的仿射集为点、直线和平面。Rⁿ中n-1维点仿射集称为超平面。
根据仿射集定义，当维数为1时，仿射集为直线。

4.三维空间中的一个平面，如何表达？

平面的法向量为： n ⃗ = ( a , b , c ) T \vec{n}=(a,b,c)^T n =(a,b,c)T
平面的一个已知点： P = ( x 0 , y 0 , c 0 ) T P =(x_0,y_0,c_0)^T P=(x0,y0,c0)T
平面方程为： a x + b y + c z − ( a x 0 + b y 0 + c z 0 ) = 0 ax+by+cz-(ax_0+by_0+cz_0)=0 ax+by+cz−(ax0+by0+cz0)=0
另一种写法为： a x + b y + c z + d = 0 ax+by+cz+d = 0 ax+by+cz+d=0

5.更高维度的“超平面”，如何表达？

6.什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

什么是“凸函数”定义？

设f(x)在区间I上有定义，f(x)在区间I称为凸函数当且仅当： ∀ x 1 , x 2 ∈ I , \forall x_1,x_2\in I, ∀x1,x2∈I,有
f [ ( x 1 + x 2 ) 2 ] ≥ f ( x 1 ) + f ( x 2 ) 2 f[\frac {(x_1+x_2)}{2}]\geq \frac {f(x_1)+f(x_2)}{2} f[2(x1+x2)]≥2f(x1)+f(x2)
∀ x 1 , x 2 , . . . x n ∈ I \forall x_1,x_2,...x_n\in I ∀x1,x2,...xn∈I成立

什么是Hessian Matrix 矩阵?

Hessen矩阵是是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，利用黑塞矩阵可判定多元函数的极值问题。
二元函数的黑塞矩阵

将上述展开式携程矩阵形式，则有：

多元函数的黑塞矩阵

如何判别一个函数是凸函数？

（1）对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数.
（2）对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。

f(x)=x^3 函数是凸函数吗

根据一元函数如何判断该函数是否是凸函数，f’’(x)=6x，当x<0时，f’’(x)<0;当x>0时，f’’(x)>0,不满足函数的二阶导数总是非负，所以f(x)=x^3不是凸函数。

7.什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？

什么是“凸规划”？

如何判别一个规划问题是凸规划问题

1.判断f(x)是否为凸函数
2.判断不等式约束函数是否为凸函数
3.举例说明

下例是凸规划问题吗

判断下图是否为凸规划问题

推导过程如下：

则，该问题是凸规划问题。

参考资料

https://blog.csdn.net/iostreamhvoid/article/details/116307396
https://blog.csdn.net/qq_44830040/article/details/105667642

机器学习数学基础--凸优化相关推荐

详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题
AI是一门入门简单,但想深入却很难的学科,这也是为什么AI高端人才一直非常紧缺的重要原因.在AI领域技术领域,我们可以说机器学习功底决定了一个人的上限也不为过.为什么?机器学习就像物理学中的数学,如果 ...
干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...
【001】机器学习基础-凸优化基础
为什么开篇第一件事是介绍凸优化呢,原因很简单,就是它很重要! 凸优化属于数学最优化的一个子领域,所以其理论本身也是科研领域一门比较复杂高深的研究方向,常被应用于运筹学.管理科学.运营管理.工业工程.系 ...
机器学习之凸优化原理推导及相关知识总结
文章目录目录 1.了解凸集和仿射集的基本概念. 2.知道几何体的向量表达. 3.了解超平面和半空间的概念. 4.了解分割超平面和支撑超平面的含义. 5.知道jensen不等式. 6.掌握知识:凸函数 ...
机器学习数学基础系列|凸优化——开启新世界的大门（上）
在机器学习中,要做的核心工作之一就是根据实际问题,定义出一个目标函数,接着找到这个目标函数的最优解.在找这个最优解的过程中,你可能会生不如死~ 但是,上帝关上了你的门,总会给你打开一扇窗~ 有一类问题 ...
机器学习+优化问题的种类、如何优化、凸优化、非凸优化、对偶问题、KKT条件
机器学习+优化问题的种类.如何优化.凸优化.非凸优化.对偶问题.KKT条件目录
机器学习数据挖掘笔记_15（关于凸优化的一些简单概念）
没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:http://cs229.stanford.edu/section/cs22 ...
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...

机器学习数学基础--凸优化

机器学习数学基础--凸优化

1.计算几何是研究什么的？

2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？

在计算几何理论中（或凸集中）的表达式

在初中数学中的表达式

两者对比

3.凸集是什么？直线是凸集吗？是仿射集吗？

凸集是什么？

直线是凸集吗？

直线是仿射集吗？

4.三维空间中的一个平面，如何表达？

5.更高维度的“超平面”，如何表达？

6.什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

什么是“凸函数”定义？

什么是Hessian Matrix 矩阵?

如何判别一个函数是凸函数？

f(x)=x^3 函数是凸函数吗

7.什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？

什么是“凸规划”？

如何判别一个规划问题是凸规划问题

下例是凸规划问题吗

参考资料

机器学习数学基础--凸优化相关推荐

最新文章

热门文章

机器学习数学基础--凸优化

机器学习数学基础--凸优化

1.计算几何是研究什么的？

2.计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？

在计算几何理论中（或凸集中）的表达式

在初中数学中的表达式

两者对比

3.凸集是什么？ 直线是凸集吗？是仿射集吗？

凸集是什么？

直线是凸集吗？

直线是仿射集吗？

4.三维空间中的一个平面，如何表达？

5.更高维度的“超平面”，如何表达？

6.什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

什么是“凸函数”定义？

什么是Hessian Matrix 矩阵?

如何判别一个函数是凸函数？

f(x)=x^3 函数是凸函数吗

7.什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？

什么是“凸规划”？

如何判别一个规划问题是凸规划问题

下例是凸规划问题吗

参考资料

机器学习数学基础--凸优化相关推荐

最新文章

热门文章

3.凸集是什么？直线是凸集吗？是仿射集吗？