您的位置首页 PyTorch 学习笔记系列

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解

发布: 2017年8月4日 7,195阅读 0评论

在看pytorch官方文档的时候，发现在nn.Module部分和Variable部分均有hook的身影。感到很神奇，因为在使用tensorflow的时候没有碰到过这个词。所以打算一探究竟。

文章目录 [隐藏]

1 Variable 的 hook
- 1.1 register_hook(hook)
2 nn.Module的hook
- 2.1 register_forward_hook(hook)
3 register_backward_hook

Variable 的 hook

register_hook(hook)

注册一个backward钩子。

每次gradients被计算的时候，这个hook都被调用。hook应该拥有以下签名：

hook(grad) -> Variable or None

1	hook(grad) -> Variable or None

hook不应该修改它的输入，但是它可以返回一个替代当前梯度的新梯度。

这个函数返回一个句柄(handle)。它有一个方法 handle.remove()，可以用这个方法将hook从module移除。

例子：

v = Variable(torch.Tensor([0, 0, 0]), requires_grad=True) h = v.register_hook(lambda grad: grad * 2) # double the gradient v.backward(torch.Tensor([1, 1, 1])) #先计算原始梯度，再进hook，获得一个新梯度。 print(v.grad.data) h.remove() # removes the hook

v = Variable(torch.Tensor([0, 0, 0]), requires_grad=True)

h = v.register_hook(lambda grad: grad * 2)# double the gradient

v.backward(torch.Tensor([1, 1, 1]))

#先计算原始梯度，再进hook，获得一个新梯度。

print(v.grad.data)

h.remove()# removes the hook

输出：

2 2 2 [torch.FloatTensor of size 3]

[torch.FloatTensor of size 3]

nn.Module的hook

register_forward_hook(hook)

在module上注册一个forward hook。

这里要注意的是，hook 只能注册到 Module 上，即，仅仅是简单的 op 包装的 Module，而不是我们继承 Module时写的那个类，我们继承 Module写的类叫做 Container。

每次调用forward()计算输出的时候，这个hook就会被调用。它应该拥有以下签名：

hook(module, input, output) -> None

1	hook(module, input, output) -> None

hook不应该修改 input和output的值。这个函数返回一个句柄(handle)。它有一个方法 handle.remove()，可以用这个方法将hook从module移除。

看这个解释可能有点蒙逼，但是如果要看一下nn.Module的源码怎么使用hook的话，那就乌云尽散了。

先看 register_forward_hook

def register_forward_hook(self, hook):

   handle = hooks.RemovableHandle(self._forward_hooks)self._forward_hooks[handle.id] = hookreturn handle</textarea></div><div class="crayon-main" style="position: relative; z-index: 1; overflow: hidden;"><table class="crayon-table" style=""><tbody><tr class="crayon-row"><td class="crayon-nums " data-settings="show"><div class="crayon-nums-content" style="font-size: 13px !important; line-height: 18px !important;"><div class="crayon-num" data-line="crayon-5dd4e6587a059500983678-1">1</div><div class="crayon-num" data-line="crayon-5dd4e6587a059500983678-2">2</div><div class="crayon-num" data-line="crayon-5dd4e6587a059500983678-3">3</div><div class="crayon-num" data-line="crayon-5dd4e6587a059500983678-4">4</div><div class="crayon-num" data-line="crayon-5dd4e6587a059500983678-5">5</div></div></td><td class="crayon-code"><div class="crayon-pre" style="font-size: 13px !important; line-height: 18px !important; -moz-tab-size:4; -o-tab-size:4; -webkit-tab-size:4; tab-size:4;"><div class="crayon-line" id="crayon-5dd4e6587a059500983678-1"><span class="crayon-r">def</span><span class="crayon-h"> </span><span class="crayon-e">register_forward_hook</span><span class="crayon-sy">(</span><span class="crayon-r">self</span><span class="crayon-sy">,</span><span class="crayon-h"> </span><span class="crayon-v">hook</span><span class="crayon-sy">)</span><span class="crayon-o">:</span></div><div class="crayon-line" id="crayon-5dd4e6587a059500983678-2">&nbsp;</div><div class="crayon-line" id="crayon-5dd4e6587a059500983678-3"><span class="crayon-h">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </span><span class="crayon-v">handle</span><span class="crayon-h"> </span><span class="crayon-o">=</span><span class="crayon-h"> </span><span class="crayon-v">hooks</span><span class="crayon-sy">.</span><span class="crayon-e">RemovableHandle</span><span class="crayon-sy">(</span><span class="crayon-r">self</span><span class="crayon-sy">.</span><span class="crayon-v">_forward_hooks</span><span class="crayon-sy">)</span></div><div class="crayon-line" id="crayon-5dd4e6587a059500983678-4"><span class="crayon-h">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </span><span class="crayon-r">self</span><span class="crayon-sy">.</span><span class="crayon-v">_forward_hooks</span><span class="crayon-sy">[</span><span class="crayon-v">handle</span><span class="crayon-sy">.</span><span class="crayon-k ">id</span><span class="crayon-sy">]</span><span class="crayon-h"> </span><span class="crayon-o">=</span><span class="crayon-h"> </span><span class="crayon-e">hook</span></div><div class="crayon-line" id="crayon-5dd4e6587a059500983678-5"><span class="crayon-e">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </span><span class="crayon-st">return</span><span class="crayon-h"> </span><span class="crayon-v">handle</span></div></div></td></tr></tbody></table></div></div><p>这个方法的作用是在此module上注册一个hook，函数中第一句就没必要在意了，主要看第二句，是把注册的hook保存在_forward_hooks字典里。</p><p>再看 nn.Module 的__call__方法（被阉割了，只留下需要关注的部分）：</p><div id="crayon-5dd4e6587a05a173089609" class="crayon-syntax crayon-theme-github crayon-font-monaco crayon-os-pc print-yes notranslate" data-settings=" minimize scroll-mouseover" style="margin-top: 15px; margin-bottom: 15px; font-size: 13px !important; line-height: 18px !important; height: auto;"><div class="crayon-plain-wrap"><textarea wrap="soft" class="crayon-plain print-no" data-settings="dblclick" readonly="" style="tab-size: 4; font-size: 13px !important; line-height: 18px !important; z-index: 0; opacity: 0; overflow: hidden;">def __call__(self, *input, **kwargs):

http://www.taodudu.cc/news/show-64215.html

Python __dict__属性详解
Pytorch nn.init 参数初始化方法
Bert代码详解（一）重点详细
Bert代码详解（二）重点
一本读懂BERT(实践篇)重点
pytorch学习中 torch.squeeze() 和torch.unsqueeze()的用法
关于pytorch--embedding的问题
pytorch中的transpose()
view(*args)改变张量的大小和形状_pytorch reshape numpy
gelu
【PyTorch学习笔记】4：在Tensor上的索引和切片
Ramsey定理数学
如何将模糊的扫描版pdf转为清晰的pdf或word_pdf问题小结
Python怎么利用多核cpu
使用Pycharm给Python程序传递参数
获取准确路径目录
打标遗留的问题
pytorch 与 numpy 的数组广播机制
pytorch numpy 数据类型转换
numpy数组方法
pytorch.range() 和 pytorch.arange() 的区别
python的print格式化输出，以及使用format来控制。
查错bug
使virtualenv从您的全局站点包继承特定的包
python pycharm 包安装问题
查看分析网络层次
PyTorch的torch.cat
pycharm连接远程服务器并进行代码上传+远程调试
创 keras_contrib 安装
tf.concat()详解