前言

在这里整理一些数值代数中重要定理以及数学证明。本章主要介绍向量范数与矩阵范数。

前言

向量范数

向量范数定义：

常用向量范数：

常用不等式（用于证明范数）：

范数性质：

矩阵范数：

矩阵范数定义：

相容定义：

常用矩阵范数：

矩阵范数性质：

常用范数及其定理：

谱范数的常用性质：

谱半径定义：

谱半径与矩阵范数之间关系：

几个重要定理：

向量范数

向量范数定义：

一个从 $R^n$ 到 $R$ 的非负函数 $||\cdot ||$ 叫做 $R^n$ 上的向量范数，如果它满足：

（1）正定性： $\forall x \in R^n,||x||\geq 0;||x||=0\Leftrightarrow x=0$

（2）齐次性： $\forall x\in R^n, \alpha\in R,||\alpha x|| = |\alpha| ||x||$

（3）三角不等式： $\forall x, y\in R^n, ||x+y||\leq ||x||+||y||$

常用向量范数：

p范数： $||x||_p = (|x_1|^p + |x_2|^p +\cdots +|x_n|^p)^{\frac{1}{p}}, p\geq 1$

其中 $p=1,2,\infty$ 最常用。

常用不等式（用于证明范数）：

Cauchy-Schwartz不等式： $|x^Ty| \leq ||x||_2||y||_2, x,y \in R^n$
Holder不等式： $|x^Ty|\leq ||x||_p||y||_q, \frac{1}{p} + \frac{1}{q} = 1$

范数性质：

1、

$| ||x||-||y|| |\leq ||x-y||\leq \max_{1\leq i\leq n} ||e_i||\sum_{i=1}^n|x_i-y_i|$

2、任意两范数 $||\cdot ||_{\alpha}, ||\cdot||_{\beta}$ ，存在常数 $c_1, c_2$ ，有

$\forall x\in R^n, c_1||x||_{\alpha} \leq ||x||_{\beta}\leq c_2 ||x||_{\alpha}$

3、向量序列的范数收敛等价于其分量收敛，也即对 $x_k\in R^n$ ，有

$\lim_{k\to \infty}|x_i^{(k)} - x_i| = 0\Leftrightarrow \lim_{k\to \infty}|x_i^{(k)}-x_i| = 0,i=1,\cdots,n$

矩阵范数：

矩阵范数定义：

一个从 $R^{n\times n}$ 到R的非负函数 $||\cdot ||$ 叫做 $R^{n\times n}$ 上的矩阵范数，如果满足：

（1）正定性：对所有 $A\in R^{n\times n}$ ，有 $||A||\geq 0, ||A||=0 \Leftrightarrow A=0$

（2）齐次性： $\forall A\in R^{n\times n}, \alpha \in R, ||\alpha A|| = |\alpha|||A||$

（3）三角不等式： $\forall A, B \in R^{n\times n},||A+B|| \leq ||A|| + ||B||$

（4）相容性： $\forall A, B \in R^{n\times n},||AB|| \leq ||A|| ||B||$

相容定义：

若矩阵范数 $||\cdot ||_M$ 和向量范数 $||\cdot ||_v$ 满足

$||Ax||_v\leq ||A||_M ||x||_v, A\in R^{n\times n}, x\in R^n$

则称矩阵范数与向量范数是相容的。

常用矩阵范数：

设 $||\cdot ||$ 是 $R^n$ 上的一个向量范数，若定义

$|||A||| = \max_{||x||=1}||Ax||, A\in R^{n\times n}$

则上述是 $R^{n\times n}$ 上的一个矩阵范数。该范数也称为从属于向量范数 $||\cdot ||$ 的矩阵范数，也称为向量范数 $||\cdot ||$ 诱导出的算子范数。该范数与向量范数 $||\cdot ||$ 相容。

矩阵范数性质：

1、 $R^{n\times n}$ 上的任意两个矩阵范数是等价的

2、矩阵序列的范数收敛等价于其元素收敛

常用范数及其定理：

算子范数 $||\cdot ||_p$ :

$||A||_p = \max_{||x||_p =1} ||Ax||_p, A\in R^{n\times n}$

且有：

$\\ ||A||_1 = \max_{1\leq j\leq n} \sum_{i=1}^n |a_{ij}|,\\ ||A||_{\infty} = \max_{1\leq i\leq n} \sum_{j=1}^n |a_{ij}|,\\ ||A||_2 = \sqrt{\lambda_{\max}(A^TA)}$

对于1，2， $\infty$ 范数，我们也称之为列和范数、行和范数和谱范数。

除此之外，我们还有Frobenius范数：

$||A||_F = (\sum_{i,j=1}^n|a_{ij}|^2)^{\frac{1}{2}}$

对于 $||A||_1$ 为范数的简单证明：

对任意满足 $|x|_1 =\sum_{i=1}^n |x_i| = 1$ 的x，有

$||Ax||_1 = ||\sum_{j=1}^n x_j a_j ||_1 \leq \sum_{j=1}^n |x_j| ||a_j||_1 \leq (\sum_{j=1}^n |x_j| )\max_{1\leq j\leq n} ||a_j||_1 = ||a_{j_0}||_1 = \delta$

同时，取n阶单位矩阵第 $j_0$ 列 $e_{j_0}$ ，则有 $||e_{j_0}||=1$ ，且

$||A e_{j_0}||_1 = ||a_{j_0}||_1 = \delta$

因此，等号可取到，原式成立。

对于 $||A||_{\infty}$ 为范数的简单证明：

对任意满足 $||x||_{\infty}=1$ 的x，有

$||Ax||_{\infty} = \max_{1\leq i \leq n}|\sum_{j=1}^n a_{ij}x_j|\leq \max_{1\leq i\leq n} \sum_{j=1}^n |a_{ij}| |x_j| \leq \max_{1\leq i \leq n}\sum_{j=1}^n|a_{ij}|=\eta$

设A的第k行的1范数最大，令 $\hat{x} = (sgn (a_{k1}), \cdots ,sgn(a_{kn}))^T$ ,易证 $||A\hat{x}||_{\infty} = \eta$ ，因此，等号可取到，原式成立。

对于2范数的简单证明：

$||A||_2 =\max_{||x||_2 = 1}||Ax||_2 = \max_{||x||_2 = 1}[(Ax)^T Ax]^{\frac{1}{2}} = \max_{||x||_2 = 1}[x^T(A^TA)x]^{\frac{1}{2}}$

$A^TA$ 为半正定矩阵，其特征值为 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n \geq 0$ ，其对应正交规范特征向量为 $v_1, v_2, \cdots , v_n \in R^n$ ，则对任意满足 $||x||_2 = 1$ 的向量，有

$x = \sum_{i=1}^n \alpha_i v_i , \sum_{i=1}^n \alpha_i^2 =1$

因此，有

$x^TA^TAx = \sum_{i=1}^n \lambda_i \alpha_i^2 \leq \lambda_1$

另一方面，若取 $x = v_1$ ，则有

$x^TA^TAx = v_1^TA^TAv_1 = v_1^T\lambda_1 v_1 = \lambda_1$

所以有

$||A||_2 = \max_{||x||_2=1}||Ax||_2 = \sqrt{\lambda_1} = \sqrt{\lambda_{\max}(A^TA)}$

谱范数的常用性质：

（1） $||A||_2 = \max \{|y^T A x|:x,y\in C^n, ||x||_2 = ||y||_2 = 1\}$

（2） $||A^T||_2 = ||A||_2 = \sqrt{||A^T A||_2}$

（3）对任意n阶正交矩阵U和V，有 $||UA||_2 = ||AV||_2 = ||A||_2$

谱半径定义：

设 $A\in C^{n\times n}$ ，则称 $\rho(A) = \max\{|\lambda|:\lambda\in \lambda(A)\}$ 为A的谱半径。

谱半径与矩阵范数之间关系：

设 $A \in C^{n\times n}$ ，则有

（1）对 $C^{n\times n}$ 上的任意矩阵范数 $||\cdot ||$ ，有 $\rho (A) \leq ||A||$

（2）对任给的 $\varepsilon >0$ ，存在 $C^{n\times n}$ 上的算子范数 $||\cdot ||$ ，使得 $||A||\leq \rho(A) +\varepsilon$

对性质1的简单证明：

设x满足 $x\neq 0,Ax =\lambda x , |\lambda| = \rho (A)$ ，则有

$\rho (A) ||xe_1^T|| = |\lambda|||xe_1^T||= ||\lambda x e_1^T|| = ||Ax e_1^T||\leq ||A|| ||xe_1^T||$

从而 $\rho(A) \leq ||A||$ 。

几个重要定理：

定理1：设 $A\in C^{n\times n}$ ，则

$\lim_{k\to \infty} A^k = 0 \Leftrightarrow \rho(A) <1$

定理2：设 $A\in C^{n\times n}$ ，则

（1） $\sum_{k=0}^{\infty} A^k$ 收敛的充要条件是 $\rho(A) <1$

（2）当 $\sum_{k=0}^{\infty} A^k$ 收敛时，有

$\sum_{k=0}^{\infty} A^k = (I-A)^{-1}$

而且存在 $C^{n\times n}$ 上的算子范数 $||\cdot ||$ ，使得

$||(I-A)^{-1}- \sum_{k=0}^{\infty}A^k||\leq \frac{||A||^{m+1}}{1-||A||}$

对一切的自然数m成立。

推论：设 $||\cdot ||$ 是 $C^{n\times n}$ 上的一个满足条件 $||I||=1$ 的矩阵范数，并假定 $A\in C^{n\times n}$ 满足 $||A||<1$ 且I-A可逆，且有

$||(I-A)^{-1}||\leq \frac{1}{1-||A||}$

数值代数中的数学原理及其证明（一）相关推荐

【转载】word2vec 中的数学原理详解
文章目录一.前言二.预备知识三.背景知识四.基于 Hierarchical Softmax 的模型五.基于 Negative Sampling 的模型六.若干源码细节原文传送门: wor ...
转：word2vec 中的数学原理详解
1,目录和前言 https://blog.csdn.net/itplus/article/details/37969519 2,预备知识:逻辑回归.贝叶斯公式.霍夫曼树 https://blog.cs ...
c语言围棋原理,围棋中的数学原理
围棋是我国传统"四艺"之一,文献所载可以追溯到春秋战国时期.如今,围棋已经变成国际通行的棋种.可是你知道吗,围棋不仅是我国的文化遗产,其中还隐藏着很多有趣的数学小知识. (1)&q ...
魔术中的数学艺术系列讲座（三）——魔术中的数学原理
魔术中的数学艺术白色 (3)魔术中的数学原理 REC 白色作者简介: 田汸,腾讯算法工程师,MatheMagician原创公众号作者.主攻NLP,擅长统计算法,数学建模.业余研究魔术16年,是资深 ...
约瑟夫问题与魔术（五）——魔术《自我匹配的奇迹》中的数学原理
特别通知:2020马丁加德纳聚会已于本周开始在线上举行,MatheMagician也将在10.18周日晚8点带来题为<数学魔术的魅力>讲座,详情请点击: 2020中国纪念马丁·加德纳聚会线 ...
Python机器学习中的数学原理详解（补充勘误表）
数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关.在一篇题为<放弃幻想,搞AI必须过数学关>的网文中,作者一针见血地指出想从事AI相关工 ...
机器学习中的数学原理——随机梯度下降法
这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白话机器学习中的数学--随机梯度下降法>! ...
机器学习中的数学原理——过拟合、正则化与惩罚函数
通过这篇博客,你将清晰的明白什么是过拟合.正则化.惩罚函数.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎 ...
机器学习中的数学原理——F值与交叉验证
通过这篇博客,你将清晰的明白什么是F值.交叉验证.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评 ...
机器学习中的数学原理——似然函数
这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下< 白话机器学习中的数学--似然函数> ...

数值代数中的数学原理及其证明（一）

前言

向量范数

向量范数定义：

常用向量范数：

常用不等式（用于证明范数）：

范数性质：

矩阵范数：

矩阵范数定义：

相容定义：

常用矩阵范数：

矩阵范数性质：

常用范数及其定理：

谱范数的常用性质：

谱半径定义：

谱半径与矩阵范数之间关系：

几个重要定理：

数值代数中的数学原理及其证明（一）相关推荐

最新文章

热门文章