机器学习中的数学——矩阵和向量相乘

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵AAA和BBB的矩阵乘积是第三个矩阵CCC。为了使乘法定义良好，矩阵AAA的列数必须和矩阵BBB的行数相等。如果矩阵AAA的形状是m×nm\times nm×n，矩阵BBB的形状是n×pn\times pn×p，那么矩阵CCC的形状是m×pm\times pm×p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法：
C=ABC=ABC=AB
具体地，该乘法操作定义为：
Ci,j=∑kAi,k×Bk,jC_{i, j}=\sum_kA_{i,k}\times B_{k, j}Ci,j=k∑Ai,k×Bk,j

需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵操作确实是存在的，被称为元素对应乘积或者Hadamard乘积，记为A⊙BA\odot BA⊙B。

两个相同维数的向量xxx和yyy的点积可看作是矩阵乘积xTyx^TyxTy。我们可以把矩阵乘积C=ABC=ABC=AB中计算Ci,jC_{i, j}Ci,j的步骤看作是AAA的第iii行和BBB的第jjj列之间的点积。

矩阵乘积运算有许多有用的性质，从而使矩阵的数学分析更加方便。比如，矩阵乘积服从分配律：
A(B+C)=AB+ACA(B+C)=AB+ACA(B+C)=AB+AC

矩阵乘积也服从结合律：
A(BC)=(AB)CA(BC)=(AB)CA(BC)=(AB)C

不同于标量乘积，矩阵乘积并不满足交换律。然而，两个向量的点积满足交换律：
xTy=yTxx^Ty=y^TxxTy=yTx

机器学习中的数学——矩阵和向量相乘相关推荐

机器学习知识总结系列-机器学习中的数学-矩阵（1-3-2）
矩阵 SVD 矩阵的乘法状态转移矩阵状态转移矩阵特征值和特征向量对称阵正交阵正定阵数据白化矩阵求导向量对向量求导标量对向量求导标量对矩阵求导一.矩阵 1.1 SVD 奇异值分解 ...
机器学习中的数学——Jacobian矩阵和Hessian矩阵
分类目录:<机器学习中的数学>总目录有时我们需要计算输入和输出都为向量的函数的所有偏导数.包含所有这样的偏导数的矩阵被称为Jacobian矩阵.具体来说,如果我们有一个函数f:Rm→Rn ...
机器学习中的数学(四)--线性代数
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学：线性代数
专栏亮点围绕主要脉络,贯穿整个学科:紧紧围绕空间变换这个线性代数的主要脉络,深刻理解如何用空间表示数据.用空间处理数据.用空间优化数据,用一条线索贯穿整个学科的主干内容. 聚焦四大纬度,筑牢知识体系 ...
机器学习中的数学：一份新鲜出炉的热门草稿
来源:机器之心本文约1500字,建议阅读5分钟. 本文为你分享近日<Mathematics for Machine Learning>的全部草稿已放出,我们整理了这本书的简要概述. 近日 ...
机器学习中的数学知识(part1)
学习笔记,仅供参考,有错必纠参考自:<机器学习与应用>–雷明文章目录机器学习中的数学知识偏导数与梯度雅克比矩阵 Hessian矩阵奇异值分解向量与矩阵求导机器学习中的数学知 ...
我们该如何学习机器学习中的数学
数学在机器学习中非常重要,不论是在算法上理解模型代码,还是在工程上构建系统,数学都必不可少.通常离开学校后很难有机会静下心学习数学知识,因此我们最好能通过阅读小组或读书会等形式营造环境,并专注学习那些 ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学(三)--牛顿法
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...

机器学习中的数学——矩阵和向量相乘

机器学习中的数学——矩阵和向量相乘相关推荐

最新文章

热门文章