点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

大家在使用PyTorch时，是不是也踩过不少坑？

现在，Reddit上的一位开发者根据他曾经犯过的错和经常忘记的点，总结了七点使用PyTorch的小技巧，供大家参考。

该分享目前在Reddit上得到了300+的支持。

很多人表示很有用，并有人指出这些不仅仅是tips，是每个人在使用Pytorch之前应该阅读的教程的一部分。

这位分享者还提供了在线代码示例和视频演示。

接下来就为大家一一展示，请大家按需汲取！

1、使用device参数直接在目标设备创建张量

这样速度会更快！在线示例代码显示，直接在GPU上创建只需0.009s：

对此，有网友补充道，之所以这样更快，是因为使用device参数是直接在GPU上创建张量，而不是在CPU上创建后再复制到GPU。

并且这样以来，使用的RAM更少，也不会留下CPU张量hanging around的风险。

2、可能的话使用Sequential层

为了代码更干净。

下面是部分示例代码：

3、不要列层列表

因为它们不能被nn.Module类正确注册。相反，应该将层列表作为未打包的参数传递到一个Sequential层中。

以上两点有争议：有人认为从代码正确性来看，使用nn.Sequential没毛病，但是从代码可读性来看，应该使用nn.ModuleList，除非只是在堆叠(stack)层。

他还给出了官方链接佐证（详情可见文末链接[3]），该观点得到了不少赞同。

另外针对第三点建议，有人不明白如何将列表作为未打包的参数传递给Sequential，并获得相同的结果。

有人作出了解答：两者都可索引寻址和遍历。只是ModuleList只保存不知道如何使用它们的模块，而sequential则按它们在列表中的顺序运行层。

下面是分享者提供的示例代码：

4、充分利用torch.distributions

PyTorch有一些不错的对象和函数用于distribution，但这位开发者认为它们在torch.distributions中没有得到充分利用。可以这样使用：

5、对长度量（Long-Term Metrics）使用detach（）

在两个epochs之间存储张量度量时，请确保对它们调用.detach（），以避免内存泄漏。

6、删除模型时，使用torch.cuda.empty_cache（）清除GPU缓存

尤其是在使用笔记本删除并重新创建大型模型时。

7、预测之前一定记得调用model.eval()

是不是很多人都忘记了？

如果你忘记调用model.eval()，也就是忘记将模型转变为evaluation（测试）模式，那么Dropout层和Batch Normalization层就会对你的预测数据造成干扰。

以上就是这位开发者总结的7点PyTorch使用小技巧。

有人表示，“我居然连第一个技巧都不知道”！

你是否知道呢？

最后，如果你对哪点有疑问或还有其他使用PyTorch时的小技巧，欢迎在评论区开麦！

在线代码示例：https://colab.research.google.com/drive/15vGzXs_ueoKL0jYpC4gr9BCTfWt935DC

视频演示：https://www.youtube.com/watch?v=BoC8SGaT3GE

参考链接：
[1]https://www.reddit.com/r/MachineLearning/comments/n9fti7/d_a_few_helpful_pytorch_tips_examples_included/
[2]https://gist.github.com/ejmejm/1baeddbbe48f58dbced9c019c25ebf71
[3]https://pytorch.org/docs/stable/generated/torch.nn.ModuleList.html

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

点个在看 paper不断！