Pytorch 中 matmul 广播

Pytorch 中 matmul 广播方式

一、两个 1 维，向量内积

a = torch.ones(3)
b = torch.ones(3)
print(torch.matmul(a,b))  # tensor(3.)

二、两个 2 维，矩阵相乘

a = torch.ones(3,4)
b= torch.ones(4,3)
print(torch.matmul(a,b))
# tensor([[4., 4., 4.],
#        [4., 4., 4.],
#        [4., 4., 4.]])

三、一个 1 维，二个 2 维，矩阵和向量相乘

注意：相靠近的那个维数要相同，比如（7）和（7,8,5)，又比如（7,8,5）和（5）

a = torch.ones(3)
b= torch.ones(3,4)
print(torch.matmul(a,b))  # tensor([3., 3., 3., 3.])a = torch.ones(3,4)
b = torch.ones(4)
print(torch.matmul(a,b))  # tensor([4., 4., 4.])

四、高维情况

注意：两个都高于 2 维，那么除掉最后两个维度外（最后两个维度满足矩阵乘法，即(m,k)*(k,n)），剩下的满足广播机制

a=torch.ones(5,3,4,1)
b=torch.ones(  3,1,1)
print(torch.matmul(a,b))

Pytorch 中 matmul 广播相关推荐

Pytorch中的广播机制
广播机制触发:当两个数组的shape不一样时候,1)程序会自动执行操作使得A.shape==B.shape, 2)对应位置进行相加运算结果的shape是:A.shape和B.shape对应位置的最大 ...
pytorch中同维度张量matmul运算
pytorch中同维度张量matmul运算零维矩阵乘法零维矩阵乘法实际上就是标量(数的)乘法. import torch M01=torch.tensor(3) M02=torch.tensor( ...
PyTorch中的matmul函数详解
PyTorch中的两个张量的乘法可以分为两种: 两个张量对应的元素相乘(element-wise),在PyTorch中可以通过torch.mul函数(或者∗*∗运算符)实现两个张量矩阵相乘(Matr ...
pytorch flatten函数_1. PyTorch中的基本数据类型——张量
在PyTorch中,张量属于一种基本的数据类型,和Numpy库中的ndarry类似,无论是标量.向量.矩阵还是高维数组都是以张量(Tensor)这种数据类型来表示.因此,有必要对该基本数据类型有所了解 ...
pytorch中的乘法操作
pytorch中提供了多种函数用于乘法操作,不同函数,功能有什么不一样呢? torch.mul multiply是mul的别名,与mul用法一致 torch.mul(input, other, *, ...
pyTorch中tensor运算
文章目录 PyTorch的简介 PyTorch中主要的包 PyTorch的安装使用GPU的原因使数据在GPU上运行什么使Tensor(张量) 一些术语介绍 Tensor的属性介绍(Rank,ax ...
PyTorch中tensor介绍
PyTorch中的张量(Tensor)如同数组和矩阵一样,是一种特殊的数据结构.在PyTorch中,神经网络的输入.输出以及网络的参数等数据,都是使用张量来进行描述. torc ...
DDP及其在pytorch中应用
1 分布式训练及其分类本部分内容引用自:https://zhuanlan.zhihu.com/p/72939003 分布式训练是为了应用多卡显卡加速模型的训练,可以分为三类: 按照并行方式分,可分为 ...
Pytorch中的DDP
一. 概览 DDP的原理? 在分类上,DDP属于Data Parallel.简单来讲,就是通过提高batch size来增加并行度. 为什么快? DDP通过Ring-Reduce的数据交换方法提高了通 ...

Pytorch 中 matmul 广播

Pytorch 中 matmul 广播方式

Pytorch 中 matmul 广播相关推荐

最新文章

热门文章