0825torch基础入门操作

一、常用操作

1.1：torch库函数

1.2 torch类对象方法

1.3 torch类对象属性

1.4：tensor间的运算

1.5 类对象元素的获取（切片）

1.6：转为numpy对象

二、注意事项

1：关于ndarray对象切片

2、关于numpy和pytorch中，sum()方法的使用

3、矩阵乘法

4、深度学习中常用范数

5、切片问题

三、其他

一、常用操作

python中的“nadrray类”和“tensor类”都是线性代数中数组的体现。

常用库函数、类对象方法、类对象属性、类对象之间运算、类对象元素的获取（切片）

1.1：torch库函数

pytorch库 numpy库
torch.tensor()

np.array()
torch.ones()   np.ones()
torch.zeros()   np.zeros()
torch.arange()   np.arange()
torch.randn()   np.random.rand()
torch.exp()   np.exp()
注：都是一些常用的函数，可指定dtype，例如dtype=torch.float32，深度学习中常用float32类型数据

1.2 torch类对象方法

假设x是一个tensor对象，常用方法有： x.reshape() x.numel() (计算X中元素的个数） len(x)输出第一个轴的维度 x.mean() x.sum() x.T

1.3 torch类对象属性

x.shape()

x.dim()

x.size()

1.4：tensor间的运算

加（+）、减（-）、乘（X）、除（÷）、是否相等（=；！=）、点积torch.dot(), torch.mv(), torch.mm()

点乘

>>> a = torch.ones(3,4)
>>> a
tensor([[1., 1., 1., 1.],[1., 1., 1., 1.],[1., 1., 1., 1.]])
>>> b = torch.Tensor([1,2,3]).reshape((3,1))
>>> b
tensor([[1.],[2.],[3.]])
>>> torch.mul(a, b)
tensor([[1., 1., 1., 1.],[2., 2., 2., 2.],[3., 3., 3., 3.]])

矩阵乘

torch.mm和torch.matmul两个函数都是用来计算矩阵相乘。mm是处理二维矩阵，超过二维将报错；matmul是处理高维。

# 二维乘二维
>>> a = torch.ones(3,4)
>>> b = torch.ones(4,2)
>>> torch.mm(a, b)
tensor([[4., 4.],[4., 4.],[4., 4.]])
# 二维乘三维
>>> a = torch.ones(3,4)
>>> b = torch.ones(5,4,2)
>>> torch.matmul(a, b).shape
torch.Size([5, 3, 2])
# 三维乘三维
>>> a = torch.ones(5,4,2)
>>> b = torch.ones(5,2,3)
>>> torch.matmul(a, b).shape
torch.Size([5, 4, 3])

线性代数

函数	功能
trace	对角线元素之和（矩阵的迹）
diag	对角线元素
triu/tril	矩阵的上三角/下三角，可指定偏移量
mm/bmm	矩阵乘法，batch的矩阵乘法
addmm/addmm/addmv/addr	矩阵运算
t	转置
dot/cross	内积/外积
inverse	求逆矩阵
svd	奇异值分解

1.5 类对象元素的获取（切片）

切片（用方括号）x[ ]

1.6：转为numpy对象

x.numpy()

总结：深度学习存储和操作数据的主要接口是张量。它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

二、注意事项

1：关于ndarray对象切片

import numpy as np
num = np.array([[1,2,3],[4,5,6],[7,8,9]])
print(num)
print(num[[0, 1], [0, 1]])
结果：

[[1 2 3]
[4 5 6]
[7 8 9]]

[1 5]
numpy中的切片方式有些奇怪，num[[0, 1], [0, 1]]表示第一行第一列以及第二行第二列两个元素所组成的数组。

2、关于numpy和pytorch中，sum()方法的使用

求和：x.sum(axis=0)，含义：沿0轴汇总以生成输出向量。非汇总求和方法：可指定参数 keepdims=True

若沿k轴汇总，则丢失k轴的维数

A.cumsum()函数，汇总函数，此函数不会沿任何轴汇总输入张量。

num.sum(axis=0)
结果：

array([12, 15, 18])

3、矩阵乘法

[两个矩阵的按元素乘法称为哈达玛积（Hadamard product）（数学符号 ⊙）]

torch.dot()

要点：python和matlab不同，python中 * 的意思是矩阵按元素进行乘法，而matlab中则表示矩阵乘法

torch.mv() 矩阵与向量相乘 torch.mm() 矩阵与矩阵相乘

4、深度学习中常用范数

其中，在 L2 范数中常常省略下标 2，也就是说，∥x∥ 等同于 ∥x∥2，方法：torch.norm(x)

深度学习常用范数，如L2范 L1范数、数和弗罗贝尼乌斯范数。

5、切片问题

matlab:start:step:end

python:start:end:step

三、其他

1、pd.get_dummies(独热编码处理)

思想：将pandas中的数据通过torch.tensor(DataFrame.values())转化为张量

2、导数、梯度、自动求导

梯度和导数的关系？

梯度：函数f(x)相对于x的梯度是一个包含n个偏导数的向量。

导数又分为全导数和偏导数，只有正负，没有方向。

3、概率论基础知识

fair_probs = torch.ones([6]) / 6
counts = multinomial.Multinomial(1000, fair_probs).sample()#模拟掷1000次骰子
Bayes 定理 (Bayes’ theorem)。它如下所示。通过构造，我们有乘法规则， P(A,B)=P(B∣A)P(A)。根据对称性，这也适用于 P(A,B)=P(A∣B)P(B)。假设 P(B)>0，求解其中一个条件变量，我们得到