TorchScript简介
本教程是对TorchScript的简介,TorchScript是PyTorch模型(nn.Module
的子类)的中间表示,可以在高性能环境(例如C )中运行。
在本教程中,我们将介绍:
PyTorch中的模型创作基础,包括:
- 模组
- 定义前向功能
- 将模块组成模块的层次结构
将PyTorch模块转换为TorchScript(我们的高性能部署运行时)的特定方法
- 跟踪现有模块
- 使用脚本直接编译模块
- 如何组合这两种方法
- 保存和加载TorchScript模块
我们希望在完成本教程之后,您将继续阅读后续教程,该教程将引导您真正地从C 调用TorchScript模型的示例。
import torch # 这是同时使用PyTorch和TorchScript所需的全部导入!
print(torch.__version__)
- 输出结果
1.3.0
1.PyTorch模型基础
让我们开始定义一个简单的模块。模块是PyTorch中组成的基本单位。它包含:
- 构造函数,为调用准备模块
- 一组参数和子模块。这些由构造函数初始化,并且可以在调用期间由模块使用。
- 前进功能。这是调用模块时运行的代码。
我们来看一个小例子:
class MyCell(torch.nn.Module):def __init__(self):super(MyCell, self).__init__()def forward(self, x, h):new_h = torch.tanh(x h)return new_h, new_hmy_cell = MyCell()
x = torch.rand(3, 4)
h = torch.rand(3, 4)
print(my_cell(x, h))
- 输出结果
(tensor([[0.5139, 0.6451, 0.3697, 0.7738],[0.7936, 0.5864, 0.8063, 0.9324],[0.6479, 0.8408, 0.8062, 0.7263]]), tensor([[0.5139, 0.6451, 0.3697, 0.7738],[0.7936, 0.5864, 0.8063, 0.9324],[0.6479, 0.8408, 0.8062, 0.7263]]))
因此,我们已经:
创建了一个子类
torch.nn.Module
的类。定义一个构造函数。构造函数没有做太多事情,只是将构造函数称为super。
定义了一个正向功能,该功能需要两个输入并返回两个输出。前向函数的实际内容并不是很重要,但是它是一种伪造的RNN单元
-即,该函数应用于循环。
我们实例化了该模块,并制作了x
和y
,它们只是3x4的随机值矩阵。 然后,我们使用my_cell(x,h)
调用该单元格。 这又调用了我们的转发功能。
让我们做一些更有趣的事情:
class MyCell(torch.nn.Module):def __init__(self):super(MyCell, self).__init__()self.linear = torch.nn.Linear(4, 4)def forward(self, x, h):new_h = torch.tanh(self.linear(x) h)return new_h, new_hmy_cell = MyCell()
print(my_cell)
print(my_cell(x, h))
- 输出结果
MyCell((linear): Linear(in_features=4, out_features=4, bias=True)
)
(tensor([[ 0.3941, 0.4160, -0.1086, 0.8432],[ 0.5604, 0.4003, 0.5009, 0.6842],[ 0.7084, 0.7147, 0.1818, 0.8296]], grad_fn=<TanhBackward>), tensor([[ 0.3941, 0.4160, -0.1086, 0.8432],[ 0.5604, 0.4003, 0.5009, 0.6842],[ 0.7084, 0.7147, 0.1818, 0.8296]], grad_fn=<TanhBackward>))
我们已经重新定义了模块MyCell
,但是这次我们添加了self.linear
属性,并在前进(forward)函数中调用了self.linear
。
这里到底发生了什么? torch.nn.Linear
是PyTorch标准库中的模块。就像MyCell
一样,可以使用调用语法来调用它。我们正在建立模块的层次结构。
在模块上打印可以直观地表示该模块的子类层次结构。在我们的示例中,我们可以看到我们的线性子类及其参数。
通过以这种方式组合模块,我们可以简洁而易读地编写具有可重用组件的模型。
您可能已经在输出中注意到grad_fn
。这是PyTorch的自动区分方法(称为autograd)的详细信息。简而言之,该系统允许我们通过潜在的
复杂程序来计算导数。该设计为模型创作提供了极大的灵活性。
现在,让我们检查一下它的灵活性:
class MyDecisionGate(torch.nn.Module):def forward(self, x):if x.sum() > 0:return xelse:return -xclass MyCell(torch.nn.Module):def __init__(self):super(MyCell, self).__init__()self.dg = MyDecisionGate()self.linear = torch.nn.Linear(4, 4)def forward(self, x, h):new_h = torch.tanh(self.dg(self.linear(x)) h)return new_h, new_hmy_cell = MyCell()
print(my_cell)
print(my_cell(x, h))
- 输出结果
MyCell((dg): MyDecisionGate()(linear): Linear(in_features=4, out_features=4, bias=True)
)
(tensor([[0.0850, 0.2812, 0.5188, 0.8523],[0.1233, 0.3948, 0.6615, 0.7466],[0.7072, 0.6103, 0.6953, 0.7047]], grad_fn=<TanhBackward>), tensor([[0.0850, 0.2812, 0.5188, 0.8523],[0.1233, 0.3948, 0.6615, 0.7466],[0.7072, 0.6103, 0.6953, 0.7047]], grad_fn=<TanhBackward>))
我们再次重新定义了MyCell
类,但是在这里我们定义了MyDecisionGate
。该模块利用控制流程。控制流包括循环和if语句之类的东西。
给定完整的程序表示形式,许多框架都采用计算符号派生的方法。但是,在PyTorch中,我们使用梯度带。我们记录操作发生时的操作,并在
计算衍生产品时向后回放。这样,框架不必为语言中的所有构造显式定义派生类。
2.TorchScript的基础
现在,让我们以正在运行的示例为例,看看如何应用TorchScript。
简而言之,即使PyTorch具有灵活和动态的特性,TorchScript也提供了捕获模型定义的工具。让我们开始研究所谓的跟踪。
2.1 跟踪(Tracing)模块
class MyCell(torch.nn.Module):def __init__(self):super(MyCell, self).__init__()self.linear = torch.nn.Linear(4, 4)def forward(self, x, h):new_h = torch.tanh(self.linear(x) h)return new_h, new_hmy_cell = MyCell()
x, h = torch.rand(3, 4), torch.rand(3, 4)
traced_cell = torch.jit.trace(my_cell, (x, h))
print(traced_cell)
traced_cell(x, h)
- 输出结果
TracedModule[MyCell](original_name=MyCell(linear): TracedModule[Linear](original_name=Linear)
)
我们倒退了一点,并选择了MyCell
类的第二个版本。和以前一样,我们实例化了它,但是这次,我们调用了torch.jit.trace
,在Module
(模块)中
传递了该示例,并在示例中传递了网络可能看到的输入。
这到底是做什么的? 它已调用模块,记录了模块运行时发生的操作,并创建了torch.jit.ScriptModule
的实例(TracedModule
是其实例)
TorchScript将其定义记录在中间表示(或IR)中,在深度学习中通常称为图形。我们可以检查带有.graph
属性的图:
print(traced_cell.graph)
- 输出结果
graph(%self : ClassType<MyCell>,%input : Float(3, 4),%h : Float(3, 4)):%1 : ClassType<Linear> = prim::GetAttr[name="linear"](%self)%weight : Tensor = prim::GetAttr[name="weight"](%1)%bias : Tensor = prim::GetAttr[name="bias"](%1)%6 : Float(4, 4) = aten::t(%weight), scope: MyCell/Linear[linear] # /opt/conda/lib/python3.6/site-packages/torch/nn/functional.py:1370:0%7 : int = prim::Constant[value=1](), scope: MyCell/Linear[linear] # /opt/conda/lib/python3.6/site-packages/torch/nn/functional.py:1370:0%8 : int = prim::Constant[value=1](), scope: MyCell/Linear[linear] # /opt/conda/lib/python3.6/site-packages/torch/nn/functional.py:1370:0%9 : Float(3, 4) = aten::addmm(%bias, %input, %6, %7, %8), scope: MyCell/Linear[linear] # /opt/conda/lib/python3.6/site-packages/torch/nn/functional.py:1370:0: int = prim::Constant[value=1](), scope: MyCell # /var/lib/jenkins/workspace/beginner_source/Intro_to_TorchScript_tutorial.py:188:0: Float(3, 4) = aten::add(%9, %h, ), scope: MyCell # /var/lib/jenkins/workspace/beginner_source/Intro_to_TorchScript_tutorial.py:188:0: Float(3, 4) = aten::tanh(), scope: MyCell # /var/lib/jenkins/workspace/beginner_source/Intro_to_TorchScript_tutorial.py:188:0: (Float(3, 4), Float(3, 4)) = prim::TupleConstruct(, )return ()
但是,这是一个非常低级的表示形式,图中包含的大多数信息对最终用户没有用。相反,我们可以使用.code
属性来给出代码的Python语法解释:
print(traced_cell.code)
- 输出结果
import __torch__
import __torch__.torch.nn.modules.linear
def forward(self,input: Tensor,h: Tensor) -> Tuple[Tensor, Tensor]:_0 = self.linearweight = _0.weightbias = _0.bias_1 = torch.addmm(bias, input, torch.t(weight), beta=1, alpha=1)_2 = torch.tanh(torch.add(_1, h, alpha=1))return (_2, _2)
那么为什么我们要做所有这些呢? 有以下几个原因:
TorchScript代码可以在其自己的解释器中调用,该解释器基本上是受限制的Python解释器。该解释器不被全局解释器锁定,因此可以在同
一实例上同时处理许多请求。这种格式使我们可以将整个模型保存到磁盘上,并将其加载到另一个环境中,例如在以Python以外的语言编写的服务器中
TorchScript为我们提供了一种表示形式,其中我们可以对代码进行编译器优化以提供更有效的执行
TorchScript允许我们与许多后端/设备运行时进行接口,这些运行时比单个操作员需要更广泛的程序视图。
我们可以看到,调用traced_cell
产生的结果与Python模块相同:
print(my_cell(x, h))
print(traced_cell(x, h))
- 输出结果
(tensor([[-0.3983, 0.5954, 0.2587, -0.3748],[-0.5033, 0.4471, 0.8264, 0.2135],[ 0.3430, 0.5561, 0.6794, -0.2273]], grad_fn=<TanhBackward>), tensor([[-0.3983, 0.5954, 0.2587, -0.3748],[-0.5033, 0.4471, 0.8264, 0.2135],[ 0.3430, 0.5561, 0.6794, -0.2273]], grad_fn=<TanhBackward>))
(tensor([[-0.3983, 0.5954, 0.2587, -0.3748],[-0.5033, 0.4471, 0.8264, 0.2135],[ 0.3430, 0.5561, 0.6794, -0.2273]],grad_fn=<DifferentiableGraphBackward>), tensor([[-0.3983, 0.5954, 0.2587, -0.3748],[-0.5033, 0.4471, 0.8264, 0.2135],[ 0.3430, 0.5561, 0.6794, -0.2273]],grad_fn=<DifferentiableGraphBackward>))
3.使用脚本转换模块
有一个原因是我们使用了模块的第二版,而不是使用带有大量控制流的子模块。现在让我们检查一下:
class MyDecisionGate(torch.nn.Module):def forward(self, x):if x.sum() > 0:return xelse:return -xclass MyCell(torch.nn.Module):def __init__(self, dg):super(MyCell, self).__init__()self.dg = dgself.linear = torch.nn.Linear(4, 4)def forward(self, x, h):new_h = torch.tanh(self.dg(self.linear(x)) h)return new_h, new_hmy_cell = MyCell(MyDecisionGate())
traced_cell = torch.jit.trace(my_cell, (x, h))
print(traced_cell.code)
- 输出结果
import __torch__.___torch_mangle_0
import __torch__
import __torch__.torch.nn.modules.linear.___torch_mangle_1
def forward(self,input: Tensor,h: Tensor) -> Tuple[Tensor, Tensor]:_0 = self.linearweight = _0.weightbias = _0.biasx = torch.addmm(bias, input, torch.t(weight), beta=1, alpha=1)_1 = torch.tanh(torch.add(x, h, alpha=1))return (_1, _1)
查看.code
输出,我们可以发现在哪里找不到if-else
分支! 为什么? 跟踪完全按照我们所说的去做:运行代码,记录发生的操作,并构
造一个可以做到这一点的ScriptModule
。不幸的是,诸如控制流之类的东西被抹去了。
我们如何在TorchScript中忠实地表示此模块?我们提供了一个脚本编译器,它可以直接分析您的Python源代码以将其转换为TorchScript。
让我们使用脚本编译器转换MyDecisionGate
:
scripted_gate = torch.jit.script(MyDecisionGate())my_cell = MyCell(scripted_gate)
traced_cell = torch.jit.script(my_cell)
print(traced_cell.code)
- 输出结果
import __torch__.___torch_mangle_3
import __torch__.___torch_mangle_2
import __torch__.torch.nn.modules.linear.___torch_mangle_4
def forward(self,x: Tensor,h: Tensor) -> Tuple[Tensor, Tensor]:_0 = self.linear_1 = _0.weight_2 = _0.biasif torch.eq(torch.dim(x), 2):_3 = torch.__isnot__(_2, None)else:_3 = Falseif _3:bias = ops.prim.unchecked_unwrap_optional(_2)ret = torch.addmm(bias, x, torch.t(_1), beta=1, alpha=1)else:output = torch.matmul(x, torch.t(_1))if torch.__isnot__(_2, None):bias0 = ops.prim.unchecked_unwrap_optional(_2)output0 = torch.add_(output, bias0, alpha=1)else:output0 = outputret = output0_4 = torch.gt(torch.sum(ret, dtype=None), 0)if bool(_4):_5 = retelse:_5 = torch.neg(ret)new_h = torch.tanh(torch.add(_5, h, alpha=1))return (new_h, new_h)
现在,我们已经忠实地捕获了我们在TorchScript中程序的行为。 现在,让我们尝试运行该程序:
# New inputs
x, h = torch.rand(3, 4), torch.rand(3, 4)
traced_cell(x, h)
3.1 混合脚本(Scripting)和跟踪(Tracing)
在某些情况下,需要使用跟踪而不是脚本(例如,模块具有许多架构决策,这些决策是基于我们希望不会出现在TorchScript中的恒定Python
值做出的)。在这种情况下,可以通过跟踪来编写脚本:torch.jit.script
将内联被跟踪模块的代码,而跟踪将内联脚本模块的代码。
- 第一种情况的示例:
class MyRNNLoop(torch.nn.Module):def __init__(self):super(MyRNNLoop, self).__init__()self.cell = torch.jit.trace(MyCell(scripted_gate), (x, h))def forward(self, xs):h, y = torch.zeros(3, 4), torch.zeros(3, 4)for i in range(xs.size(0)):y, h = self.cell(xs[i], h)return y, hrnn_loop = torch.jit.script(MyRNNLoop())
print(rnn_loop.code)
- 输出结果
import __torch__
import __torch__.___torch_mangle_5
import __torch__.___torch_mangle_2
import __torch__.torch.nn.modules.linear.___torch_mangle_6
def forward(self,xs: Tensor) -> Tuple[Tensor, Tensor]:h = torch.zeros([3, 4], dtype=None, layout=None, device=None, pin_memory=None)y = torch.zeros([3, 4], dtype=None, layout=None, device=None, pin_memory=None)y0 = yh0 = hfor i in range(torch.size(xs, 0)):_0 = self.cell_1 = torch.select(xs, 0, i)_2 = _0.linearweight = _2.weightbias = _2.bias_3 = torch.addmm(bias, _1, torch.t(weight), beta=1, alpha=1)_4 = torch.gt(torch.sum(_3, dtype=None), 0)if bool(_4):_5 = _3else:_5 = torch.neg(_3)_6 = torch.tanh(torch.add(_5, h0, alpha=1))y0, h0 = _6, _6return (y0, h0)
- 第二种情况的示例:
class WrapRNN(torch.nn.Module):def __init__(self):super(WrapRNN, self).__init__()self.loop = torch.jit.script(MyRNNLoop())def forward(self, xs):y, h = self.loop(xs)return torch.relu(y)traced = torch.jit.trace(WrapRNN(), (torch.rand(10, 3, 4)))
print(traced.code)
- 输出结果
import __torch__
import __torch__.___torch_mangle_9
import __torch__.___torch_mangle_7
import __torch__.___torch_mangle_2
import __torch__.torch.nn.modules.linear.___torch_mangle_8
def forward(self,argument_1: Tensor) -> Tensor:_0 = self.looph = torch.zeros([3, 4], dtype=None, layout=None, device=None, pin_memory=None)h0 = hfor i in range(torch.size(argument_1, 0)):_1 = _0.cell_2 = torch.select(argument_1, 0, i)_3 = _1.linearweight = _3.weightbias = _3.bias_4 = torch.addmm(bias, _2, torch.t(weight), beta=1, alpha=1)_5 = torch.gt(torch.sum(_4, dtype=None), 0)if bool(_5):_6 = _4else:_6 = torch.neg(_4)h0 = torch.tanh(torch.add(_6, h0, alpha=1))return torch.relu(h0)
这样,当情况需要它们时,可以使用脚本和跟踪并将它们一起使用。
4.保存和加载模型
我们提供API,以存档格式将TorchScript模块保存到磁盘或从磁盘加载TorchScript模块。这种格式包括代码,参数,属性和调试信息,这意
味着归档文件是模型的独立表示形式,可以在完全独立的过程中加载。让我们保存并加载包装好的RNN
模块:
traced.save('wrapped_rnn.zip')loaded = torch.jit.load('wrapped_rnn.zip')print(loaded)
print(loaded.code)
- 输出结果
ScriptModule(original_name=WrapRNN(loop): ScriptModule(original_name=MyRNNLoop(cell): ScriptModule(original_name=MyCell(dg): ScriptModule(original_name=MyDecisionGate)(linear): ScriptModule(original_name=Linear)))
)
import __torch__
import __torch__.___torch_mangle_9
import __torch__.___torch_mangle_7
import __torch__.___torch_mangle_2
import __torch__.torch.nn.modules.linear.___torch_mangle_8
def forward(self,argument_1: Tensor) -> Tensor:_0 = self.looph = torch.zeros([3, 4], dtype=None, layout=None, device=None, pin_memory=None)h0 = hfor i in range(torch.size(argument_1, 0)):_1 = _0.cell_2 = torch.select(argument_1, 0, i)_3 = _1.linearweight = _3.weightbias = _3.bias_4 = torch.addmm(bias, _2, torch.t(weight), beta=1, alpha=1)_5 = torch.gt(torch.sum(_4, dtype=None), 0)if bool(_5):_6 = _4else:_6 = torch.neg(_4)h0 = torch.tanh(torch.add(_6, h0, alpha=1))return torch.relu(h0)
如您所见,序列化保留了模块层次结构和我们一直在研究的代码。例如,也可以将模型加载到C 中以实现不依赖Python的执行。
进一步阅读
我们已经完成了教程!有关更多涉及的演示,请查看NeurIPS演示,以使用TorchScript转换机器翻译模型:
https://colab.research.google.com/drive/1HiICg6jRkBnr5hvK2-VnMi88Vi9pUzEJ
脚本的总运行时间:(0分钟0.247秒)
欢迎关注磐创博客资源汇总站:
http://docs.panchuang.net/
欢迎关注PyTorch官方中文教程站:
http://pytorch.panchuang.net/
OpenCV中文官方文档:
http://woshicver.com/
TorchScript简介相关推荐
- 【模型推理加速系列】05: 推理加速格式TorchScript简介及其应用
简介 本文紧接前文:模型推理加速系列|04:BERT模型推理加速 TorchScript vs. ONNX 实验结果:在动态文本长度且大batch size的场景下,TorchScript 格式的in ...
- pytorch TorchScript 简介
本文介绍 TorchScript,它是 PyTorch 模型(nn.Module的子类)的中间表示,可以在 C++ 等高性能环境中运行. 在本文中,我们将介绍: PyTorch 中模型构建的基础知识, ...
- PyTorch官方教程大更新:增加标签索引,更加新手友好
点击上方↑↑↑"视学算法"关注我 来源:公众号 量子位 授权 PyTorch官方教程,现已大幅更新: 提供标签索引,增加主题分类,更加新手友好. 不必再面对一整页教学文章茫然无措, ...
- PyTorch官方教程大更新:增加标签索引,新手更加友好
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:量子位 AI博士笔记系列推荐 周志华<机器学习>手推 ...
- ApacheCN 深度学习译文集 20210125 更新
新增了七个教程: PyTorch 中文官方教程 1.7 学习 PyTorch PyTorch 深度学习:60 分钟的突击 张量 torch.autograd的简要介绍 神经网络 训练分类器 通过示例学 ...
- PyTorch 1.4 中文文档校对活动正式启动 | ApacheCN
一如既往,PyTorch 1.4 中文文档校对活动启动了! 认领须知 请您勇敢地去翻译和改进翻译.虽然我们追求卓越,但我们并不要求您做到十全十美,因此请不要担心因为翻译上犯错--在大部分情况下,我们的 ...
- TorchScript的简介以及项目踩坑
最近做的项目需要提升模型性能,缩短运行时间.发现TorchScript这么个玩意,之前一直没用过,所以就拿来试试. 简介 使用了JIT及时编译器,为PyTorch创建可序列化和可优化的模型.以额外的开 ...
- PyTorch C++ API libtorch 简介
PyTorch C++ API libtorch 简介 翻译自 PyTorch 官方文档:https://pytorch.org/cppdocs/index.html#acknowledgements ...
- 【pytorch】将模型部署至生产环境:借助TorchScript跟踪法及注释法生成可供C++调用的模块
(一)思路简介 1.pyTorch会提供TorchScript,它可以生成最有效的C++可读的模型格式. 2.TorchScript的记录法支持Python控制流的子集,由TorchScript创建的 ...
- etcd 笔记(01)— etcd 简介、特点、应用场景、常用术语、分布式 CAP 理论、分布式原理
1. etcd 简介 etcd 官网定义: A highly-available key value store for shared configuration and service discov ...
最新文章
- pandas学习之Series结构
- html文件 excel,怎么把html文件转成excel,excel表格代码
- Python 之 Numpy (五)合并
- 两个service事务统一_RocketMQ进阶 - 事务消息
- linux ngx listen的解析
- twitter数据分析_Twitter上最受欢迎的数据科学文章主题
- java解析ceb文件_什么是Java的平台无关性
- 我的CCNA笔记(二)
- 服务器损坏文件怎么办,“该文件可能已损坏或者文件所在的服务器没有响应或者该文件是只读的”怎么解决?...
- cmd命令删除计算机密码,怎么用DOS命令查询或消除电脑登陆密码?
- Gitlab实战3:Gitlab用户注册及管理
- win10电脑外接音响没声音怎么回事?win10电脑外接音响没声音的修复方法
- 华为云服务之弹性云服务器ECS的深度使用和云端实践
- ESP32使用滑动变阻器(ADC)控制舵机(PWM)Micropython编程
- socket编程到底是什么?
- 抖音占内存怎么办?不会玩抖音的16个小技巧教你怎么使用拍视频、怎么截取音乐片段
- 关于信息增益(information gain)
- 鸿蒙曰蜉蝣不知所求,【经典金句408 · 庄子】:浮游,不知所求;猖狂,不知所往;游者鞅掌,以观无妄。...
- 业内首发 | 区块链数据服务 - BDS
- springboot新手项目从零开始搭建,涉及excel数据导出和邮箱发送(上)
热门文章
- pc端下载微信视频号中的视频
- Qt ui 到底是什么?
- 金蝶K3线上采购价格审批生效系统开发
- 47、backtrader的一些基本概念---技术指标(indicator)的使用教程
- panic: reflect.Value.Interface: cannot return value obtained from unexported field or method
- deepin win10字体_深度win10修改系统字体颜色的操作方法
- Python AngryBirds完整代码+讲解
- 从零开始写一个Jison解析器(3/10):良好的开端是成功的一半——《政治学》 (亚里士多德)
- DDR1 和 DDR2 双靶点抑制剂的设计合成及其抗炎作用研究
- 介绍Hosts文件和DNS及DNS的解析过程