机器学习中的标量、向量、矩阵、和张量的概念

在线性代数中，我们必须掌握几个核心概念：标量、向量、矩阵和张量，它们是构成线性代数学科的基石。

标量 (Scalar)

标量其实就是一个独立存在的数，比如在线性代数中一个实数 5 就可以被看作一个标量，所以标量的运算相对简单，与我们平常做的数字算术运算类似。

向量 (Vector)

向量指一列按顺序排列的元素，我们通常习惯用括号将这一列元素括起来，其中的每个元素都由一个索引值来唯一地确定其在向量中的位置，假设这个向量中的第 1 个元素是 x1 , 它的索引值就是 1，第 2 个元素是 x2 , 它的索引值就是 2，以此类推。如下所示就是一个由三个元素组成的向量，这个向量的索引值从 1 到 3 分别对应了从 x1 到 x3 的这三个元素:

矩阵 (Matrix)

矩阵就是一个二维数组结构，我们会用括号将其中的全部元素括起来。向量的索引值是一维的，而矩阵的索引值是二维的，所以在确定矩阵中每个元素的位置时需要两个数字。

举例来，假设在一个矩阵的左上角存在一个元素 x11 ,那么确定这个元素的索引值就是由两个 1 构成的二维索引值，即“11”, 这个二维索引值代表矩阵中第1行和第1列交汇处的数字，所以前面的一个数字 1 可以被定义为当前矩阵的行号，后面的一个数字 1 可以被定义为当前矩阵的列号。如下就是一个三行两列的矩阵:

张量 (Tensor)

若数组的维度超过了二维，我们就可以用张量来表示，所以我们可以将张量理解为高维数组。同理，张量的索引值用两个维度的数字来表示已经不够了，其中的元素的索引值会随着张量维度的改变而改变。

机器学习中的标量、向量、矩阵、和张量的概念相关推荐

深度学习-数学-第一篇-标量,向量,矩阵,张量
这记录一些我刚开始学习所用到的数学基础从最基础的开始小知识: 0 ∈ {0 1 {0 1}表示一个集合,里面有0,1两个元素.所以0属于这个集合,就用0 ∈ {0 1}表示了.∈代表属于. {0 ...
标量/向量/矩阵求导方法
这篇博客源于在看论文时遇到了一个误差向量欧氏距离的求导,如下: 在看了一堆资料后得出以下结论: 这个结论是怎么来的呢?这就涉及标量/向量/矩阵的求导了.由于标量.向量都可以看做特殊的矩阵,因此就统称为 ...
【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
[机器学习中的数学基础]矩阵特征值.特征向量和特征值分解的几何意义在<机器学习>西瓜书中的第十章提到了"多维缩放"(简称MDS)方法,该方法是一种经典的的降维方法.此 ...
机器学习中Batch Size、Iteration和Epoch的概念
机器学习中Batch Size.Iteration和Epoch的概念 Epoch一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程.由于一个epoch常常太大,计算机无法负荷,我们 ...
向量大小和归一化（vector magnitude normalization）、向量范数（vector norm）、标量/向量/矩阵/张量
一.向量大小首先一个向量的长度或者大小一般记为.上图中的平面向量的大小计算如下: 空间向量的大小计算如下: 维复向量的大小计算如下: 二.向量归一化向量归一化即将向量的方向保持不变,大小归一化到1 ...
机器学习中的线性代数之矩阵求导
前面针对机器学习中基础的线性代数知识,我们做了一个常用知识的梳理.接下来针对机器学习公式推导过程中经常用到的矩阵求导,我们做一个详细介绍. 矩阵求导(Matrix Derivative)也称作矩阵微分 ...
机器学习中的数学——Jacobian矩阵和Hessian矩阵
分类目录:<机器学习中的数学>总目录有时我们需要计算输入和输出都为向量的函数的所有偏导数.包含所有这样的偏导数的矩阵被称为Jacobian矩阵.具体来说,如果我们有一个函数f:Rm→Rn ...
机器学习中的度量—— 向量距离
机器学习是时下流行AI技术中一个很重要的方向,无论是有监督学习还是无监督学习都使用各种"度量"来得到不同样本数据的差异度或者不同样本数据的相似度.良好的"度量" ...
机器学习中最常用的矩阵/向量求导公式
文章目录 1 矩阵的迹 2 行列式的性质 3 向量相对于标量的导数与标量相对于向量的导数 4 矩阵相对于标量的导数与标量相对于矩阵的导数 5 函数f(x)对向量x的导数 6 向量和矩阵的导数满足乘法法 ...

机器学习中的标量、向量、矩阵、和张量的概念

机器学习中的标量、向量、矩阵、和张量的概念相关推荐

最新文章

热门文章