2.6 特殊的矩阵和向量

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。
一些特殊的矩阵和向量是非常有用。

对角矩阵是只有主对角线上的元素不为零。例如：矩阵 D\boldsymbol{D} 是对角矩阵，当且仅当对于所有 i≠ji \neq j ，di,j=0d_{i,j}=0。我们已经遇到过对角矩阵的例子：单位矩阵，所有对角元素都是1。在本书中，我们用diag(v)\rm diag(\boldsymbol{v}) 来表示对角方阵，它的对角元素由向量v\boldsymbol{v}给出。对角矩阵只关注一部分，因为乘以一个对角矩阵计算非常方便。为了计算diag(v)x\rm diag(\boldsymbol{v})\boldsymbol{x} ，我们只需要用viv_i乘以xix_i即可。也就是说，diag(v)x=v⊙x\rm diag(\boldsymbol{v})\boldsymbol{x}=\boldsymbol{v\odot x} 反转一个方阵也是有效的。只要每个对角元素是非零的，那么逆就存在。在这种情况下，diag(v)−1=diag([1/v1,...1/vn]T)\rm diag(\boldsymbol{v})^{-1}=\rm diag([1/v_1,...1/v_n]^{\rm T})。在许多情况下，我们能够派生出任意矩阵的通用机器学习算法，但是限制矩阵为对角型后获得的是描述性较差的算法。

注意，并非所有对角矩阵需要是方阵。矩阵也可以是矩阵的。非方阵没有逆但是依然可以相乘。对于一个非方对角矩阵D\boldsymbol{D}，Dx\boldsymbol{Dx} 将缩放 x\boldsymbol{x} 的每个元素，如果D\boldsymbol{D}高度大于宽度，那么串联一些零到结果上，或者宽度大于高度，那么舍弃向量后面的一些元素。

对称矩阵是本身等于它的转置：

A=AT

\boldsymbol{A}=\boldsymbol{A}^{\rm T}当矩阵中的项是由两个参数的函数生成，且这两个参数是顺序无关的，那么常会用到对称矩阵。例如，如果 A\boldsymbol{A}是距离测度的矩阵，其中 ai,j\rm a_{i,j}给定点 ii 到点 jj 的距离，那么 ai,j=aj,i\rm a_{i,j}=a_{j,i}，因为距离函数是对称的。

单位向量是单位范数向量：

∥x∥2=1

\Vert\boldsymbol{x}\Vert_2=1
如果 xTy=0\boldsymbol{x^{\rm T}y}=0那么向量和向量是正交的。如果向量都是非零范数，这意味着互相成九十度角。最多有个元素互相正交。如果向量不经正交而且有单位范数，我们称为单位正交。

正交矩阵是一个方阵，且行是互相单位正交的，列是互相单位正交的：

ATA=AAT=I

\boldsymbol{A^{\rm T}A}=\boldsymbol{AA^{\rm T}}=I这表明：

A−1=AT

\boldsymbol{A^{-1}}=\boldsymbol{A^{\rm T}}所以正交矩阵是非常有意思的，因为很容易计算。仔细注意正交矩阵的定义。他们的行不仅仅是正交还要单位正交。对于行或列是正交的但非单位正交的矩阵没有一个专门的术语。

2.6 特殊的矩阵和向量相关推荐

向量矩阵张量_张量，矩阵和向量有什么区别？
向量矩阵张量机器学习代数 (MACHINE LEARNING ALGEBRA) Algebra is an important element of mathematics and has a ...
吴恩达《机器学习》第三章：矩阵和向量
三.矩阵和向量向量是特殊的矩阵: 通常:大写字母表示矩阵:小写字母表示向量或其他数字: 标量运算矢量运算多个代价函数矩阵的交换律不成立,但是AI = IA(I单位矩阵) 存在逆矩阵的矩 ...
Eigen教程(3)之矩阵和向量的运算
转载于:https://www.cnblogs.com/houkai/p/6348044.html 矩阵和向量的运算提供一些概述和细节:关于矩阵.向量以及标量的运算. 介绍 Eigen提供了matr ...
python矩阵和向量乘法总结
向量之间的乘法 torch.dot 点乘,相同维度的两个向量对应元素相乘再相加 torch.mul 对应元素相乘,结果同a*b 例子如下: 矩阵与向量的乘法要求:矩阵的列数=向量的维数结果:矩阵乘 ...
机器学习笔记 - 特殊类型的矩阵和向量
1.对角矩阵对角矩阵,除了对角线之外全都是0. (1)例1:方阵对角矩阵 (2)例2:非方阵对角矩阵 (3)例3:对角矩阵表示为diag(v) 可以使用如下表示 python代码参考 ...
R语言使用crossprod函数和tcrossprod函数计算矩阵matrix交叉积(Matrix Cross Product)、crossprod函数、tcrossprod函数计算矩阵和向量的交叉积
R语言使用crossprod函数和tcrossprod函数计算矩阵matrix交叉积(Matrix Cross Product).crossprod函数.tcrossprod函数计算矩阵和向量的交叉积 ...
【深度学习】问：矩阵和向量相乘结果
[深度学习] 问:矩阵和向量相乘结果一个 m 行 n 列的矩阵和 n 行向量相乘,最后得到就是一个 m 行的向量.运算法则就是矩阵中的每一行的数据与向量中的数据相乘.
python矩阵和向量乘积_NumPy 中的矩阵和向量
NumPy 中的矩阵和向量 numpy的 ndarray 类用于表示矩阵和向量. 要在numpy中构造矩阵,我们在列表中列出矩阵的行, 并将该列表传递给numpy数组构造函数. 例如,构造与矩阵对应的 ...
Eigen 学习文档: 矩阵和向量运算
Eigen 学习文档: 矩阵和向量运算本页旨在提供有关如何使用Eigen在矩阵.向量和标量之间执行算术的概述和一些详细信息. 介绍 Eigen通过重载常见的 C++ 算术运算符(如 +.-.*)或通 ...

2.6 特殊的矩阵和向量

2.6 特殊的矩阵和向量相关推荐

最新文章

热门文章