7.4.2 解的稳定性、病态矩阵、矩阵条件数

根据通解
x=xp+xz=b1U/σ1v1+⋯+brU/σrvr+(k1vr+1+⋯+kn−rvn)biU=uiTb为在坐标系U下的坐标分量,ki是任意实数\mathbf{x} = \mathbf{x}_p + \mathbf{x}_z = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r + (k_1\mathbf{v}_{r+1} + \cdots + k_{n-r}\mathbf{v}_n)\\b^U_i = \mathbf{u}^T_i\mathbf{b}为在坐标系 U 下的坐标分量,k_i是任意实数 x=xp+xz=b1U/σ1v1+⋯+brU/σrvr+(k1vr+1+⋯+kn−rvn)biU=uiTb为在坐标系U下的坐标分量,ki是任意实数

如果 b\mathbf{b}b 由于测量误差或计算舍入误差变为 b+Δb\mathbf{b}+\Delta\mathbf{b}b+Δb ，则解也会变为 x+Δx\mathbf{x} + \Delta\mathbf{x}x+Δx ，由于零解 kik_iki 是任意实数，所以如果考虑零解，则 Δx\Delta\mathbf{x}Δx 由于零解的改变可任意改变，变得毫无意义。所以只考虑特解 xp\mathbf{x}_pxp 的改变量 Δxp\Delta\mathbf{x}_pΔxp 。

Δxp=δb1U/σ1v1+⋯+δbrU/σrvr\Delta\mathbf{x}_p = \delta b^U_1/\sigma_1\mathbf{v}_1 + \cdots + \delta b^U_r/\sigma_r\mathbf{v}_r Δxp=δb1U/σ1v1+⋯+δbrU/σrvr

因为 σ1≥σ2≥⋯≥σr>0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0σ1≥σ2≥⋯≥σr>0 ，所以当 Δxp\Delta\mathbf{x}_pΔxp 全部由分量 δbrU\delta b^U_rδbrU 造成的即 Δb=∥Δb∥ur\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_rΔb=∥Δb∥ur ，则特解改变量最大，故

maxΔxp=δbrU/σrvr=urTΔb/σrvr=∥Δb∥/σrvrmax \Delta\mathbf{x}_p = \delta b^U_r/\sigma_r\mathbf{v}_r = \mathbf{u}^T_r\Delta\mathbf{b}/\sigma_r\mathbf{v}_r = \|\Delta\mathbf{b}\|/\sigma_r\mathbf{v}_r maxΔxp=δbrU/σrvr=urTΔb/σrvr=∥Δb∥/σrvr

这是特解最大绝对改变量，与最小奇异值成反比。更有意义的是特解相对改变量大小，根据特解 xp=b1U/σ1v1+⋯+brU/σrvr\mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_rxp=b1U/σ1v1+⋯+brU/σrvr 当 b=∥b∥u1\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1b=∥b∥u1 ，特解最小

minxp=b1U/σ1v1=u1Tb/σ1v1=∥b∥/σ1v1min \mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 = \mathbf{u}^T_1\mathbf{b}/\sigma_1\mathbf{v}_1 = \|\mathbf{b}\|/\sigma_1\mathbf{v}_1 minxp=b1U/σ1v1=u1Tb/σ1v1=∥b∥/σ1v1

所以特解最大相对改变量为

max∥Δxp∥∥xp∥=∥Δb∥/σr∥b∥/σ1=σ1σr∥Δb∥∥b∥max \frac{\|\Delta\mathbf{x}_p\|}{\|\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|/\sigma_r}{\|\mathbf{b}\|/\sigma_1} = \frac {\sigma_1}{\sigma_r} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|} max∥xp∥∥Δxp∥=∥b∥/σ1∥Δb∥/σr=σrσ1∥b∥∥Δb∥

得到如下结论：
1、特解最大相对改变量与 σ1σr≥1\frac {\sigma_1}{\sigma_r} \ge 1σrσ1≥1 成正比且大于 ∥Δb∥∥b∥\frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}∥b∥∥Δb∥，即会放大误差。
2、取等号条件为：b=∥b∥u1\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1b=∥b∥u1 和 Δb=∥Δb∥ur\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_rΔb=∥Δb∥ur 。
3、所有奇异值 σi=σ\sigma_i=\sigmaσi=σ 均相等时，有 max∥Δxp∥xp∥=∥Δb∥∥b∥max \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}maxxp∥∥Δxp∥=∥b∥∥Δb∥ 任何情况下都不会放大误差，特解最稳定。此时 A=UΣVT=σUEr′VTA = U \Sigma V^T = \sigma U E'_r V^TA=UΣVT=σUEr′VT ，例如 A=σQA = \sigma QA=σQ ，QQQ 为正交矩阵，方程解最稳定。

为此定义如下概念

矩阵条件数 矩阵最大奇异值和最小奇异值之比，记为 condA=σ1σrcond A = \frac {\sigma_1}{\sigma_r}condA=σrσ1 。

病态矩阵 矩阵条件数远大于 111 的矩阵，病态矩阵容易因为误差而导致解的不稳定。

矩阵条件数具有如下性质：condA=condAT=condA+cond A = cond A^T = cond A^{+}condA=condAT=condA+ ，condATA=condAAT=(condA)2cond A^TA = cond AA^T = (cond A)^2condATA=condAAT=(condA)2 。

同理可得特解最小相对改变量为

min∥Δxp∥xp∥=1condA∥Δb∥∥b∥min \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {1}{cond A} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|} minxp∥∥Δxp∥=condA1∥b∥∥Δb∥

等号条件 b=∥b∥ur\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_rb=∥b∥ur 和 Δb=∥Δb∥u1\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_1Δb=∥Δb∥u1 。

病态矩阵很容易导致特解不稳定，但这只是必要条件不是充分条件，比如特解最小相对改变量小于 111 缩小了误差，与矩阵条件数成反比，条件数越大特解反而越稳定。所以不是病态矩阵都能导致特解不稳定，要看 b,Δb\mathbf{b},\Delta\mathbf{b}b,Δb 在坐标系 UUU 中的位置。

如果 AAA 由于测量误差或计算舍入误差变为 A+ΔAA+\Delta AA+ΔA ，则解也会变为 x+Δx\mathbf{x} + \Delta\mathbf{x}x+Δx ，此时有 (A+ΔA)(x+Δx)=b(A+\Delta A)(\mathbf{x} + \Delta\mathbf{x})=\mathbf{b}(A+ΔA)(x+Δx)=b 减去 Ax=bA\mathbf{x} = \mathbf{b}Ax=b 得 AΔx=−ΔA(x+Δx)A\Delta\mathbf{x} = -\Delta A(\mathbf{x} + \Delta\mathbf{x})AΔx=−ΔA(x+Δx) 假设矩阵 AAA 可逆，两边左乘 A−1A^{-1}A−1 取范数得
∥Δx∥=∥A−1ΔA(x+Δx)∥≤∥A−1∥∥ΔA∥∥x+Δx∥即∥Δx∥∥x+Δx∥≤∥A∥∥A−1∥∥ΔA∥∥A∥因为∥A∥∥A−1∥=σ1σr=condA所以∥Δx∥∥x+Δx∥≤condA∥ΔA∥∥A∥\|\Delta\mathbf{x}\| = \|A^{-1}\Delta A(\mathbf{x} + \Delta\mathbf{x})\| \le \|A^{-1}\| \|\Delta A\| \|\mathbf{x} + \Delta\mathbf{x}\| \\ \\即 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le \|A\| \|A^{-1}\| \frac{\|\Delta A\|}{\|A\|} \\因为 \|A\| \|A^{-1}\| = \frac {\sigma_1}{\sigma_r} = cond A \\ \\所以 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le cond A \frac{\|\Delta A\|}{\|A\|} ∥Δx∥=∥A−1ΔA(x+Δx)∥≤∥A−1∥∥ΔA∥∥x+Δx∥即∥x+Δx∥∥Δx∥≤∥A∥∥A−1∥∥A∥∥ΔA∥因为∥A∥∥A−1∥=σrσ1=condA所以∥x+Δx∥∥Δx∥≤condA∥A∥∥ΔA∥

得到类似结论，即病态矩阵很容易导致特解不稳定。

7.4.2 解的稳定性、病态矩阵、矩阵条件数相关推荐

二进制空间权重矩阵_白话空间统计之二十五：空间权重矩阵（三）解构空间权重矩阵...
原标题:白话空间统计之二十五:空间权重矩阵(三)解构空间权重矩阵中国古代就有"天圆地方"一说,所谓的"方"就是所谓的矩阵-- 在军事上面,最为讲究就是团体的力 ...
动力总成悬置系统解偶计算及优化程序解偶计算能量分布矩阵6*6；ADAMS计算能量分布矩阵6*9
动力总成悬置系统解偶计算及优化程序解偶计算能量分布矩阵66:ADAMS计算能量分布矩阵69:基于fmincon/fgoalattain动力总成悬置优化程序:解偶计算GUI. 可提供理论计算分析,为什么 ...
java求矩阵条件数_数值分析：矩阵求逆-奇异性、条件数
本blog主要内容有:矩阵的奇异性.条件数与病态矩阵.矩阵求逆. 奇异矩阵和非奇异矩阵singular matrix&nonsingular matrix 概念和定义若n阶矩阵A的行列式不为 ...
矩阵论基础知识5（病态矩阵与条件数）
病态矩阵与条件数 1. 病态系统现在有线性系统: Ax = b, 解方程很容易得到解为: x1 = -100, x2 = -200. 如果在样本采集时存在一个微小的误差,比如,将 A 矩阵的系数 ...
矩阵条件数的定义、理解以及matlab代码
目录 1.矩阵条件数的定义 1.1 矩阵范数的定义 1.2 矩阵范数举例 2 矩阵条件数的意义 3.矩阵条件数matlab代码 1.矩阵条件数的定义 cond ⁡ ( A ) = ∥ A ∥ ∙ ∥ ...
一题多解（八）—— 矩阵上三角（下三角）的访问
访问矩阵的上三角或者下三角,一般出现在矩阵为对角方阵(避免重复访问)的情况: 方法之一: for i in range(n):for j in range(i+1):... 方法之二: for i i ...
新媒体管理师详解，新媒体矩阵搭建不完全指南
新媒体平台越来越多,如微信.微博.抖音等,有一个概念开始被频繁提及--新媒体矩阵. 文章来源公众号:新媒考务但我发现:很多同学每天都被矩阵所困扰,主要由以下几点: 感觉每天要更新N个平台,但不知道哪 ...
详解motif的PFM矩阵
欢迎关注"生信修炼手册"! 在之前的文章中,对motif的几个基本概念进行了简单介绍.一致性序列采用IUPAC碱基表示标准来描述motif的序列信息,sequence logo是结 ...
机器学习中的矩阵方法(附录A）：病态矩阵与条件数
转载地址:https://www.cnblogs.com/daniel-D/p/3219802.html 思路:利用范数考察Ax = b中b的扰动对于x的影响

7.4.2 解的稳定性、病态矩阵、矩阵条件数

7.4.2 解的稳定性、病态矩阵、矩阵条件数

7.4.2 解的稳定性、病态矩阵、矩阵条件数相关推荐

最新文章

热门文章