本文参考书籍《最优化计算方法》

这一部分会介绍一些最优化需要用到的基本数学概念。

1 范数

1.1 向量范数

1.2 矩阵范数

1.3 矩阵内积

2 导数

2.1 梯度与海瑟矩阵

2.2 矩阵变量函数的导数

1 范数

1.1 向量范数

范数相当于是从向量空间到实数域的映射，也就是度量向量与原点之间的距离，但是这里有很多不同的范数，1范数就相当于是曼哈顿距离，2范数相当于欧几里得距离，无穷范数就相当于闵氏距离。

一般来说，下标省略的范数，默认是2，如下是范数2时的常用的Cauchy不等式

$\left | a^{T} b\right |\leq \left \| a \right \|\left \| b \right \|$

等号仅当两个向量线性相关的时候取到

1.2 矩阵范数

知道了向量范数之后，就比较好理解矩阵范数了，显然当1范数时

$\left \| A \right \|_{1}=\sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |$

也就是矩阵所有元素的绝对值之和

2范数也就是矩阵所有元素的平方和开根号

$\left \| A \right \|_{2}=\sqrt{Tr(AA^{T})}=\sqrt{\sum_{i,j}^{}a_{ij}^{2}}$

Tr 称为矩阵的迹，是矩阵主对角线元素之和，矩阵的2范数有正交不变性，对任意正交矩阵U和V

$\left \| UAV \right \|_{2}^{2}=Tr(UAVV^{T} A^{T}U^{T})=Tr(UAA^{T}U^{T})=Tr(AA^{T}U^{T}U)$

$=Tr(AA^{T})=\left \| A\right \|_{2}^{2}$

除了从向量范数的定义规律来推广以外，矩阵范数还可以从向量范数诱导而来

$\because \left \| Ax \right \|_{(m)}\leq \left \| A \right \|_{(m,n)}\left \| x \right \|_{n}$

这个性质被称为矩阵的相容性

$\therefore \left \| A \right \|_{(m,n)}=max\left \| Ax \right \|_{(m)} ,x\in R^{n},\left \| x \right \|_{n}=1$

1.3 矩阵内积

矩阵范数用来衡量大小，矩阵内积一般用来表示两个矩阵之间的夹角（也可理解为两个矩阵所张成空间的夹角）

$\left \langle A,B \right \rangle=Tr(AB^{T})=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{ij}$

同时也有矩阵范数的柯西不等式

$\left \langle A,B \right \rangle\leq \left \| A \right \|_{F}\left \| B \right \|_{F}$

2 导数

2.1 梯度与海瑟矩阵

上面的公式其实就是：方向导数等于梯度与方向单位向量的内积

其实这代表着 f(x) 的增长速度不能超过二次函数

2.2 矩阵变量函数的导数

多元函数梯度的定义可以推广到矩阵

【数值优化之范数与导数】相关推荐

复旦大学吴立德《数值优化》、《深度学习》和
http://i.youku.com/i/UNjAzMzA4NjQ=/playlists?spm=a2hzp.8253869.0.0 [1]复旦大学吴立德教授讲授的<数值优化>. 使用教材 ...
el-select 多选取值_数值优化|笔记整理（3）——线搜索中的步长选取方法，线性共轭梯度法...
上一节笔记传送门: 学弱猹:数值优化|笔记整理(2)--线搜索:步长选取条件的收敛性zhuanlan.zhihu.com ------------------------------------ 大 ...
回溯法采用的搜索策略_数值优化|笔记整理（3）——线搜索中的步长选取方法，线性共轭梯度法...
上一节笔记传送门: 学弱猹:数值优化|笔记整理(2)--线搜索:步长选取条件的收敛性zhuanlan.zhihu.com ------------------------------------ 大 ...
数值优化：计算基本理论
1. 优化问题最一般的优化问题的表述是这样的: 求解等式约束 $\boldsymbol{g}(\boldsymbol{x})=0$ 和不等式约束 $\boldsymbol{h}(\boldsymbo ...
机器人中的数值优化|【一】数值优化基础
数值优化基础凸集 Convex Sets 凸集的定义令X是线性空间.如果对于X的子集S中的所有x和y,并且在区间 [0,1]中的所有t,点 ( 1 − t ) x + t y (1-t)x + t ...
最优化方法总结：公式解、数值优化、求解思想
机器学习的目标是给出一个模型(一般是映射函数),然后定义对这个模型好坏的评价函数(目标函数),求解目标函数的极大值或者极小值,以确定模型的参数,从而得到我们想要的模型. 在这三个关键步骤(定义模型,目 ...
数值优化-信赖域方法
信赖域方法除了之前讲过的线搜索方法,信赖域方法(trust region)也是数值优化中的一类重要的方法.在信赖域方法中我们需要定义一个信赖域,在这个信赖域中使用替代函数来代替原来的目标函数,通过优 ...
数值优化和几何优化（密度泛函理论）
1数值优化为了能够在实际操作中实现数值收敛的DFT计算,我们需要借助于一些数值优化方法,来有效处理具有多个自由度的问题.如同理解倒易空间一样,充分理解优化的核心概念对有效进行DFT计算十分重要.下面 ...
机器人中的数值优化|【二】最速下降法，可行牛顿法的python实现，以Rosenbrock function为例
机器人中的数值优化|[二]最优化方法:最速下降法,可行牛顿法的python实现,以Rosenbrock function为例在上一节中提到了我们详细探讨了数值优化/最优化理论中的基本概念和性质,现在 ...

【数值优化之范数与导数】

1 范数

1.1 向量范数

1.2 矩阵范数

1.3 矩阵内积

2 导数

2.1 梯度与海瑟矩阵

2.2 矩阵变量函数的导数

【数值优化之范数与导数】相关推荐

最新文章

热门文章