标量,向量,矩阵和张量的关系
在深度学习中,大家肯定都知道这几个词:标量,向量,矩阵,张量。但是要是让我们具体说下他们,可能一下子找不出头绪。下面介绍一下他们之间的关系:
标量(scalar)
一个标量表示一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。我们用斜体表示标量。标量通常被赋予小写的变量名称。
向量(vector)
一个向量表示一组有序排列的数。通过次序中的索引,我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称,比如xx。向量中的元素可以通过带脚标的斜体表示。向量X的第一个元素是X_1,第二个元素是X_2,以此类推。我们也会注明存储在向量中的元素的类型(实数、虚数等)。
矩阵(matrix)
矩阵是具有相同特征和纬度的对象的集合,表现为一张二维数据表。其意义是一个对象表示为矩阵中的一行,一个特征表示为矩阵中的一列,每个特征都有数值型的取值。通常会赋予矩阵粗体的大写变量名称,比如A。
张量(tensor)
在某些情况下,我们会讨论坐标超过两维的数组。一般地,一个数组中的元素分布在若干维坐标的规则网格中,我们将其称之为张量。使用 A来表示张量“A”。张量A中坐标为(i,j,k)的元素记作A_{(i,j,k)}。
四者之间关系
标量是0阶张量,向量是一阶张量。举例:
标量就是知道棍子的长度,但是你不会知道棍子指向哪儿。
向量就是不但知道棍子的长度,还知道棍子指向前面还是后面。
张量就是不但知道棍子的长度,也知道棍子指向前面还是后面,还能知道这棍子又向上/下和左/右偏转了多少。
再留一下向量和矩阵的范数归纳
向量的1范数:向量中各个元素的绝对值之和;
向量的2范数:向量中各个元素平方后求和,再开方 ;
向量的负无穷范数:向量中所有元素的绝对值中最小的;
向量的正无穷范数:向量中所有元素的绝对值中最大的;
向量的P范数:向量中所有元素绝对值的P次方和开1/p次幂
矩阵范数:
- 矩阵的1范数(列范数):矩阵的每一列上的元素绝对值先求和,再从中取个最大的,(列和最大);
- 矩阵的2范数:矩阵A^TA的最大特征值开平方根;
- 矩阵的无穷范数(行范数):矩阵的每一行上的元素绝对值先求和,再从中取个最大的,(行和最大)
- 矩阵的核范数:矩阵的奇异值(将矩阵svd分解)之和,这个范数可以用来低秩表示(因为最小化核范数,相当于最小化矩阵的秩——低秩)
- 矩阵的L0范数:矩阵的非0元素的个数,通常用它来表示稀疏,L0范数越小0元素越多,也就越稀疏
- 矩阵的L1范数:矩阵中的每个元素绝对值之和,它是L0范数的最优凸近似,因此它也可以表示稀疏
- 矩阵的F范数:矩阵的各个元素平方之和再开平方根,它通常也叫做矩阵的L2范数,它的有点在它是一个凸函数,可以求导求解,易于计算
标量,向量,矩阵和张量的关系相关推荐
- 一文读懂标量、向量、矩阵、张量的关系
文章目录 一.标量 百度百科和维基百科 二.向量 向量的四种表示方法 代数表示 几何表示 坐标表示 矩阵表示 百度百科和维基百科 三.矩阵 百度百科和维基百科 四.张量 百度百科和维基百科 五.标量. ...
- 深度学习-数学-第一篇-标量,向量,矩阵,张量
这记录一些我刚开始学习所用到的数学 基础从最基础的开始 小知识: 0 ∈ {0 1 {0 1}表示一个集合,里面有0,1两个元素.所以0属于这个集合,就用0 ∈ {0 1}表示了.∈代表属于. {0 ...
- 标量/向量/矩阵求导方法
这篇博客源于在看论文时遇到了一个误差向量欧氏距离的求导,如下: 在看了一堆资料后得出以下结论: 这个结论是怎么来的呢?这就涉及标量/向量/矩阵的求导了.由于标量.向量都可以看做特殊的矩阵,因此就统称为 ...
- 向量大小和归一化(vector magnitude normalization)、向量范数(vector norm)、标量/向量/矩阵/张量
一.向量大小 首先一个向量的长度或者大小一般记为.上图中的平面向量的大小计算如下: 空间向量的大小计算如下: 维复向量的大小计算如下: 二.向量归一化 向量归一化即将向量的方向保持不变,大小归一化到1 ...
- 复数 标量/向量/矩阵 求导
Wirtinger derivative: 对复标量求导 Wirtinger derivative: 令 z=x+jyz=x+jyz=x+jy,则 f(z)f(z)f(z) 对 zzz 和 zzz 的 ...
- 标量、向量、矩阵、张量之间的区别和联系
文章目录 前言 标量 向量 矩阵 张量 标量向量矩阵张量之间的联系 线性代数常用的运算 一.向量的运算 1.点积 代数意义 几何意义 2.外积 3.向量的范数 二.矩阵的运算 1 .转置 2.矩阵的范 ...
- 标量,向量,矩阵与张量
看到了这方面的介绍,还是依照惯例整理下来吧. 首先是最基本的基础概念:https://blog.csdn.net/testcs_dn/article/details/81185538 来源:云栖社区 ...
- 标量、向量、矩阵、张量及向量和矩阵范数简介
标量.向量.矩阵.张量之间的联系 标量(scalar) 一个标量表示一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组).我们用斜体表示标量.标量通常被赋予小写的变量名称. 向量 ...
- 机器学习笔记 - 标量、向量、矩阵、张量
一.标量.向量.矩阵.张量 标量(Scalar)为一个数字. 向量(Vector)是一个数字数组. 矩阵(Matrix)是二维数组. 张量(Tensor)是一个n维数组n > 2. 标量.向量. ...
最新文章
- 【约束布局】ConstraintLayout 偏移 ( Bias ) 计算方式详解 ( 缝隙比例 | 计算公式 | 图解 | 测量图 + 公式 )
- Redis【第二篇】集群搭建
- UA MATH571B 试验设计 2k析因设计理论上
- 动态链接库和静态库的区别
- 最近工程师怎么都在写公众号?这玩意到底能赚多少钱?
- 开源CMS webEdition 6发布
- 1024 科学计数法 (20 分
- 解决 springboot 项目:找不到或无法加载主类
- 荣大速印机维修手册_荣大佳文一体机(速印机)故障及排除方法
- vs.php在win2008+vs2008下开发调试配置
- 实验5.2 动态内存分配生成动态数组完成矩阵转置
- 同一程序在不同版本的framework下控件中英文显示的问题
- 浅谈Spring中Bean的生命周期
- ffmpeg源码简析(十三)ffmpeg API变更 2009-03-01—— 2017-05-09变更
- java.util.zip.ZipException: invalid stored block lengths的错误
- MacOS基金管理软件
- 维斯乐乐高机器人_成为智能机器人服装检测人体细微运动的新型高度灵敏柔性电容传感器...
- 打印机设置为双面打印_hudingyin_新浪博客
- 国产服务器芯片性能如何,如何挑选国产芯片服务器
- 实施工程师mysql面试题_软件实施工程师面试题目