【Torch笔记】计算图与动态图

1 什么是计算图？

计算图（Computational Graph）是用来 描述运算 的有向无环图，主要由节点和边组成。节点表示数据，如向量、矩阵、张量，边表示运算，如加减乘除等。下图就是 y=(x+w)*(w+1) 的计算图表示：

采用计算图来描述计算，不仅能够使得运算更加简洁，更重要的是能够 使得计算梯度求导更加方便。
∂y∂w=∂y∂a∂a∂w+∂y∂b∂b∂w=b⋆1+a⋆1=b+a=(w+1)+(x+w)=2∗w+x+1=2∗1+2+1=5\begin{aligned} \frac{\partial \mathrm{y}}{\partial w} &=\frac{\partial \mathrm{y}}{\partial a} \frac{\partial a}{\partial w}+\frac{\partial \mathrm{y}}{\partial b} \frac{\partial b}{\partial w} \\ &=b \star 1+a \star 1 \\ &=b+a \\ &=(w+1)+(\mathrm{x}+\mathrm{w}) \\ &=2 * w+x+1 \\ &=2 * 1+2+1=5 \end{aligned} ∂w∂y=∂a∂y∂w∂a+∂b∂y∂w∂b=b⋆1+a⋆1=b+a=(w+1)+(x+w)=2∗w+x+1=2∗1+2+1=5
代码上：

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)y.backward()
print(w.grad)# output:
# tensor([5.])

叶子结点：用户创建的节点称为叶子结点，如 x 和 w。is_leaf 指示张量是否为叶子结点。设置叶子结点是为了节省内存，叶子结点的梯度会反复使用，而非叶子结点的梯度在反向传播之后就会被释放掉。如：

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)y.backward()
print(w.grad)
print(a.grad)"""
===== output =======
tensor([5.])
None
XXXX/site-packages/torch/_tensor.py:1083: UserWarning: The .grad attribute of a Tensor that is not a leaf Tensor is being accessed. Its .grad attribute won't be populated during autograd.backward(). If you indeed want the .grad field to be populated for a non-leaf Tensor, use .retain_grad() on the non-leaf Tensor. If you access the non-leaf Tensor by mistake, make sure you access the leaf Tensor instead. See github.com/pytorch/pytorch/pull/30531 for more informations. (Triggered internally at  aten/src/ATen/core/TensorBody.h:482.)
"""

可见 The .grad attribute of a Tensor that is not a leaf Tensor is being accessed. 也就是 a 的梯度没有保存下来。

grad_fn：记录创建该张量时所用的方法（函数）

print(y.grad_fn)
print(a.grad_fn)
print(b.grad_fn)

2 什么是动态图？

在计算图中，根据搭建方式的不同，可分为 静态图 与 动态图。

动态图：运算和搭建同时进行，特点是灵活、易调节
静态图：先搭建图，后运算，特点是高效但不灵活

Pytorch 是动态图！