向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）

一、 旋转（ rotation ）

1、 矩阵与向量相乘

由向量内积（两个向量相乘）出发，考虑矩阵与向量相乘的情况。以二维平面空间为例，设X=(x₁, x₂, …, x_n), x_i=(x_i1,x_i2)^T, i=1, 2, …,n为样本矩阵，w=(w₁,w₂)^T为向量（二维平面中的一个有向线段）。矩阵与向量相乘可表示为：

（1）

2、矩阵与矩阵相乘

令为两个向量组成的矩阵，将上述X_S与W相乘，可表示为：

（2）

如果将w¹、w²看成二维空间中的有向线段，z₁、z₂则是X向w¹、w²表示的有向线段投影的结果。W可看作旋转矩阵。图1、 2、3分别表示数据点集X_s经旋转矩阵W旋转后得到的点集Z。这里的旋转矩阵是正交矩阵，其两个列向量是正交的（内积为0）。这样的旋转称为正交旋转（orthogonal rotation, rigid rotation），正交旋转将数据点集旋转到新的坐标系，且并不改变数据点集的形状和大小（rotate the configuration to a new orientation while preserving its essential size and shape）。

图1数据X_S 图2旋转矩阵W 图3旋转后的数据Z

图2中的旋转矩阵将坐标系逆时针（counterclockwise）旋转了45度。通常，我们可以通过如公式（3）的旋转矩阵完成角度为θ的顺时针（clockwise）正交旋转。

（3）

当然，也不一定所有的旋转都要是正交的。

二、 伸缩（Stretching and Shrinking）

第一部分介绍的数据矩阵与旋转矩阵相乘得到矩阵保持了原有数据点集的形状和大小分布，由图3可知，旋转后的数据z₁和z₂分量的方差相差很大。令矩阵D为对角线元素S_i=Var(z_i)的对角矩阵。如公式（4）所示，将Z与D^-1相乘，Z的两个分量z₁和z₂分别被伸缩至方差为1的分量，结果如图4所示。

（4）

图4 标准化后的数据点集

三、实验

对《Analyzing Multivariate Data》第二章中的WOMEN数据X（如图1所示）进行若干向量运算，结果如图5所示。

图5.1为原始数据X；图5.2为将数据X的中心移至0的零均值数据Xd；图5.3为将Xd每一维的数据伸缩为1的方差标准化数据Xs；图5.4为将Xs向向量w=(0.707; 0.707)投影后的一维向量z；图5.5为将Xs与旋转矩阵相乘后得到的旋转后的数据Zs；图5.6为将Zs方差标准化后的数据Zss。

Xs的协方差矩阵，可见方差标准化只是使数据每一维的方差为1并没有消除数据各维之间的相关性（如图5.3所示，数据呈现椭圆形分布）。将Xs经过适当的正交旋转得到Zs，计算Zs的协方差矩阵，我们可以发现数据各为之间的相关性消失了。而将Zs方差标准化的结果Zss，其协方差矩阵为理想的单位矩阵（如图5.6所示，数据呈现圆形分布）。

图5 WOMEN数据矩阵操作实验

四、总结

The Geometric interpretation of Vector and Matrix Operations:

(1) Scalar multiplication has the effect of uniformly stretching or shrinking the data configuration.

(2) Vector multiplication has the effect of projecting the data point onto a single line defined by the vector.

(3) Matrix multiplication has the effect of rotating the configuration onto a new set of axes. In some special cases (where the columns of the matrix are orthogonal), the rotation preserves the overall shape of the configuration.

向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）相关推荐

数学基础（矢量, 向量，矩阵，相等，加法，乘法）
(人脸,图像)真实的事物--->数学对象(矢量)--->矢量间的关系(数学算法或者性质,矩阵,加减法)--->另外一些矢量(特征比较明确)--->真实事物(图像,人脸) 矢量: ...
矩阵的乘法口诀（二）
今天接着谈矩阵的乘法口诀剩下的部分. 口诀 3. 行向量左乘以A,等于A行作组合:<br> e i e_i ei转置把A乘, i i i行取出便为积: 这句口诀与矩阵 A A A乘以列向 ...
6-2 编写Matrix类，使用二维数组实现矩阵，实现两个矩阵的乘法。 (30分) java pta
编写程序题, 根据要求编写一个Java类,补充到代码中. 定义Matrix(矩阵)类,使用二维数组实现矩阵,实现两个矩阵的乘法.要求如下: 4个变量:row(行数),column(列数), matri ...
机器学习之数学基础(二)～数组、向量、矩阵、向量空间、二维矩阵
1. 概述在学习机器学习(machine learning)或模式识别(pattern recognition)过程中,我经常会困惑于向量.数组和矩阵这三种数据结构,而在学习张学工教授<模式识 ...
三元组法矩阵加法java_C语言实现矩阵加法、减法、乘法和数乘运算
一.知识储备 • 矩阵与矩阵之间可以进行加法.减法和乘法运算(矩阵的"除法",被特别地定义出了逆矩阵,通过一个矩阵与另一个的逆矩阵的乘法来实现),矩阵和数之间可以进行数乘运算: • ...
python矩阵乘法分治算法_矩阵乘法的Strassen算法详解 --（算法导论分治法求矩阵）...
1 题目描述 2 思路分析 3 解法 4 小结 1 题目描述请编程实现矩阵乘法,并考虑当矩阵规模较大时的优化方法. 2 思路分析根据wikipedia上的介绍:两个矩阵的乘法仅当第一个矩阵B的列数 ...
【线性代数】从矩阵分块的角度理解矩阵乘法
一.矩阵分块法介绍概念: 例: 二.使用矩阵分块法计算矩阵的积 1. 分块矩阵计算的数学步骤使用Numpy计算例1 import numpy as np A=np.mat([[1,0,0,0],[ ...
tensorflow tf.matmul() （多维）矩阵相乘（多维矩阵乘法）
@tf_export("matmul") def matmul(a,b,transpose_a=False,transpose_b=False,adjoint_a=False,ad ...
将矩阵转为一行_理解矩阵乘法
理解矩阵乘法考研需要考一门课<线性代数>,这门课其实是教矩阵. 刚学的时候,还蛮简单的,矩阵加法就是相同位置的数字加一下. 矩阵乘法也类似,矩阵乘以一个常数,就是所有位置都乘以这个数. ...

向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）

向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）相关推荐

最新文章

热门文章

向量、矩阵乘法的几何意义（二） 矩阵乘法（Matrix Multiplication）

向量、矩阵乘法的几何意义（二） 矩阵乘法（Matrix Multiplication）相关推荐

最新文章

热门文章

向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）

向量、矩阵乘法的几何意义（二）矩阵乘法（Matrix Multiplication）相关推荐