Operator norm - 算子范数

算子范数

介绍和定义
举例
等价的定义
属性
常用的算子范数
在希尔伯特空间(Hilbert space)上的算子

在数学上，算子范数是一种度量某些线性算子"大小"的方法。形式上，它是在两个给定范数向量空间(normed vector spaces)之间的有界线性算子空间(bounded linear operators)上定义的范数。

介绍和定义

给定两个范数向量空间V和W(在相同的基(base field)上，实数R或者复数C),一个线性映射A ⇒\Rightarrow⇒ B是连续的当且仅当存在一个实数c使得 ∥Av∥≤c∥v∥for all v∈V\|Av\| \leq c\|v\| \text{ for all } v \in V ∥Av∥≤c∥v∥ for all v∈V 左边的范数是W中的范数，右边的范数是V中的范数。直观上看来，连续算子(continuous operator)A永远不会将任意向量的长度增加超过c倍。因此，有界集在连续算子下的像(image)也是有界的。因为这个性质，连续线性算子也被称为有界算子( bounded operators)。为了"测量A的大小",似乎很自然的取数字c的下确界(infimum)，使得上面的不等式对于所有的V中的v都成立。换句话说，我们通过“最大”情况下它在多大程度上"拉伸"向量的量来来度量A的“大小”。所以我们定义A的范式为∥A∥op=inf{c≥0:∥Av∥≤c∥V∥for all v∈V}\|A\|_{op} =inf\{ c \geq 0 : \|Av\| \leq c\|V\| \text{ for all } v \in V \} ∥A∥op=inf{c≥0:∥Av∥≤c∥V∥ for all v∈V}由于所有此类c的集合都是封闭，非空并且从下面限定了边界，因此获得了下确界。
重要的是要记住，这个算子范数取决于范数向量空间V和W的范数的选择。

举例

每一个m x n的实矩阵对应一个从RnR^nRn到RmR^mRm的线性映射。适用于实向量空间的(向量)范数过剩的每对推导出一个适用于所有m×n矩阵的算子范数( Each pair of the plethora of (vector) norms applicable to real vector spaces induces an operator norm for all m-by-n matrices of real numbers); 这些推导出的范式构成了矩阵范式(matrix norms)的子集。
如果我们特别的选择RnR^nRn和RmR^mRm的欧几里得范数( Euclidean norm),那么矩阵A的矩阵范数是矩阵A∗AA^{*}AA∗A最大特征值的平方根(其中A∗A^*A∗表示A的共轭转置(conjugate transpose))。这相当于给A赋最大的奇异值(singular value)。
转到一个典型的无限维的例子，考虑序列空间l2l^2l2定义为：l2={(an)n≥1:an∈C,∑n∣an∣2<∞}l^2 = \{(a_n)_{n \geq 1}:a_n \in \mathcal C ,\sum\limits_{n}|a_n|^2 < \infty\}l2={(an)n≥1:an∈C,n∑∣an∣2<∞}这可以看作欧几里得空间CnC^nCn的一个无穷维的模拟。现在取一个有界序列s=(sn)s=(s_n)s=(sn)。这个序列s是空间l∞l^{\infty}l∞的一个元素，它的范式给定为∥s∥∞=supn∣sn∣\|s\|_{\infty} = \mathop{sup}\limits_{n}|s_n|∥s∥∞=nsup∣sn∣通过简单的乘法定义TsT_sTs算子:(an)→Ts(sn⋅an)(a_n) \mathop\rightarrow \limits^{T_s}(s_n \cdot a_n)(an)→Ts(sn⋅an)
算子TsT_sTs被算子范数约束 ∥Ts∥op=∥s∥∞\|T_s\|_{op} = \|s\|_{\infty}∥Ts∥op=∥s∥∞可以将讨论直接扩展到以下情况:l2{l^2}l2被一个一般LpL^pLp空间代替(P>1)，并且l∞l^{\infty}l∞被L∞L^{\infty}L∞代替。

等价的定义

当V≠{0}V \neq \{0\}V={0}时，我们可以证明下列的定义是等价的:∥A∥op=inf{c≥0:∥Av∥≤c∥v∥for all v∈V}\|A\|_{op} = inf\{c \geq 0:\|Av\| \leq c\|v\| \text{ for all } v \in V\}∥A∥op=inf{c≥0:∥Av∥≤c∥v∥ for all v∈V} =sup{∥Av∥:v∈Vwith ∥v∥≤1}=sup\{\|Av\| :v \in V \text{ with } \|v\| \leq 1\}=sup{∥Av∥:v∈V with ∥v∥≤1} =sup{∥Av∥:v∈Vwith ∥v∥=1}=sup\{\|Av\| :v \in V \text{ with } \|v\| = 1\}=sup{∥Av∥:v∈V with ∥v∥=1} =sup{∥Av∥∥v∥:v∈Vwith v≠0}=sup\{\frac{\|Av\|}{\|v\|}:v \in V \text{ with } v \neq 0\}=sup{∥v∥∥Av∥:v∈V with v=0} 在V={0}V = \{0\}V={0}的时候，第三行和第四行是空的。

属性

算子范数确实是V和W之间所有有界算子空间上的一个范数。这意味着：∥A∥op≥0and ∥A∥op=0if and only if A=0,\|A\|_{op} \geq 0 \text{ and } \|A\|_{op} = 0 \text{ if and only if } A = 0 \text{,}∥A∥op≥0 and ∥A∥op=0 if and only if A=0, ∥aA∥op=∣a∣∥A∥opfor every scalar a ,\|aA\|_{op} = |a|\|A\|_{op} \text{ for every scalar a ,}∥aA∥op=∣a∣∥A∥op for every scalar a , ∥A+B∥op≤∥A∥op+∥B∥op.\|A+B\|_{op} \leq \|A\|_{op}+\|B\|_{op} \text{.}∥A+B∥op≤∥A∥op+∥B∥op.下面的不等式是定义的直接结果 ∥Av∥≤∥A∥op∥v∥for every v∈V\|Av\| \leq \|A\|_{op}\|v\| \text{ for every } v \in V∥Av∥≤∥A∥op∥v∥ for every v∈V 算子范数也和算子的复合和乘法相容(The operator norm is also compatible with the composition, or multiplication, of operators)：如果V,W和X是在三个同样基底下三个范数空间，并且A:V→W和 B:W→XA:V \rightarrow W \text{ 和 } B: W \rightarrow XA:V→W 和 B:W→X 是两个有界算子，那么它就是一个次乘范数(sub-multiplicative norm),即:∥BA∥op≤∥B∥op∥A∥op\|BA\|_{op} \leq \|B\|_{op} \|A\|_{op}∥BA∥op≤∥B∥op∥A∥op
对于V上的有界算子，这意味着算子乘法是联合连续( jointly continuous)的。
从定义上看来，一个算子序列收敛到算子范数意味着它们在有界集合上均匀收敛(converge uniformly)。

常用的算子范数

有些常用的算子范数很容易计算，另外的一些是NP-hard的。除了NP-hard的范数，所有的范数都可以在N2N^2N2的操作中进行计算(对于N x N 矩阵)，这其中不包含l2−l2l_2 - l_2l2−l2范数(为了获得准确的答案它需要N3N^3N3次运算，或者更少如果你使用幂方法或者Lanczos迭代来进行近似.)

伴随矩阵和转置矩阵可以按照如下方式进行计算。我们有对于任意的p,q,然后∥A∥p→q=∥A∗∥q′→p′\|A\|_{p \rightarrow q} = \|A^*\|_{q^{'} \rightarrow p^{'}}∥A∥p→q=∥A∗∥q′→p′,其中p′,q′p^{'} , q^{'}p′,q′是p,q的霍尔德共轭(Hölder conjugate)，即，1/p+1/p′=1和1/q+1/q′=11/p + 1/p^{'} = 1 \text{和} 1/q+1/q^{'}=11/p+1/p′=1和1/q+1/q′=1 .

在希尔伯特空间(Hilbert space)上的算子

假定H是一个复数或者实数希尔伯特空间。如果A:H→HH \rightarrow HH→H是一个有界线性算子，那么我们有∥A∥op=∥A∗∥op\|A\|_{op}=\|A^*\|_{op}∥A∥op=∥A∗∥op 和 ∥A∗A∥op=∥A∥op2\|A^{*}A\|_{op} = \|A\|_{op}^2 ∥A∗A∥op=∥A∥op2 其中A∗A^*A∗表示A的伴随矩阵（在具有标准内积的欧几里得希尔伯特空间，它对应于A的共轭转置）。
一般的，A的谱半径( spectral radius )被A的算子范数限定(bounded)：ρ(A)≤∥A∥op\rho(A) \leq \|A\|_{op} ρ(A)≤∥A∥op 来明白等式为什么不会总是被满足，考虑在无限维情况下矩阵的约旦标准型(Jordan normal form)，因为在超对角线上有非零实体，等式可能会被打破。准幂等算子(quasinilpotent operators)是上面的情况的一类，一个非零的准幂等算子A有谱{o}。所以当∥A∥op>0\|A\|_{op} > 0∥A∥op>0的时候有ρ(A)=o\rho(A) = oρ(A)=o。
然而，当矩阵N是正规矩阵(normal)时，它的约旦标准型是对角的(up to unitary equivalence)。这是谱定理(spectral theorem)。在这种情况下很容易看出来ρ(N)=∥N∥op\rho(N)=\|N\|_{op}ρ(N)=∥N∥op 这个公式在有些时候在给定边界算子A的情况下来计算算子范式:定义厄米算子(Hermitian operator ) B=A∗AB = A^*AB=A∗A ,确定它的谱半径，然后取平方根来获得A的算子范数。
H上的有界算子的空间，其拓扑(topology)由算子范数导出，是不可分离的。比如说，考虑希尔伯特空间L2[0,1]L^2[0,1]L2[0,1]。对于0<t≤10 < t \leq 10<t≤1，让Ωt\Omega_tΩt是[0,t][0,t][0,t]上的特征函数( characteristic function )，PtP_tPt是Ωt\Omega_tΩt给出的乘法算子(Multiplication operator)，即Pt(f)=f⋅ΩtP_t(f)=f \cdot \Omega_t Pt(f)=f⋅Ωt 然后每个PtP_tPt是带有算子范数1有界算子，并且∥Pt−Ps∥op=1, for all t≠s\|P_t - P_s\|_{op}=1 \text{, for all } t \neq s ∥Pt−Ps∥op=1, for all t=s 但是{Pt}\{P_t\}{Pt}是不可数集合，这意味着在L2[0,1]L^2[0,1]L2[0,1]上的有界算子空间在算子范数中是不可分离的。我们可以将这个事实与序列空间l∞l^\inftyl∞是不可分离的事实进行比较。
在希尔伯特空间所有的有界算子的集合，与算子范数和伴随操作(adjoint operation)，产生了C∗−algebraC^*-algebraC∗−algebra。
[1]: https://en.wikipedia.org/wiki/Operator_norm