PyTorch 1.0 中文文档：torch.nn.init

译者：GeneZC

torch.nn.init.calculate_gain(nonlinearity, param=None)

返回给定非线性函数的推荐的增益值。对应关系如下表：

非线性函数	增益
Linear / Identity	$1$
Conv{1,2,3}D	$1$
Sigmoid	$1$
Tanh	$\frac{5}{3}$
ReLU	$\sqrt{2}$
Leaky Relu	$\sqrt{\frac{2}{1 + \text{negative\_slope}^2}}$

参数：

nonlinearity – 非线性函数 (nn.functional 中的名字)
param – 对应非线性函数的可选参数

例子

>>> gain = nn.init.calculate_gain('leaky_relu')

torch.nn.init.uniform_(tensor, a=0, b=1)

用均匀分布 $\mathcal{U}(a, b)$ 初始化输入 Tensor。

阅读全文／改进本文

PyTorch 1.0 中文文档：torch.nn.init相关推荐

PyTorch 1.0 中文文档正式接受校对 | ApacheCN
参与方式:https://github.com/apachecn/pytorch-doc-zh/blob/master/CONTRIBUTING.md 整体进度:https://github.com/ ...
PyTorch 1.0 中文文档：torch.nn.functional
译者:hijkzzz 卷积函数 conv1d torch.nn.functional.conv1d(input, weight, bias=None, stride=1, padding=0, dil ...
PyTorch 1.0 中文文档：torch.sparse
译者:hijkzzz 警告这个API目前还处于试验阶段,可能在不久的将来会发生变化. Torch支持COO(rdinate )格式的稀疏张量,这可以有效地存储和处理大多数元素为零的张量. 稀疏张量表 ...
PyTorch 1.0 中文文档：torch.onnx
译者:guobaoyo 示例:从Pytorch到Caffe2的端对端AlexNet模型这里是一个简单的脚本程序,它将一个在 torchvision 中已经定义的预训练 AlexNet 模型导出到 O ...
PyTorch 1.0 中文文档：torch.hub
译者:kunwuz torch.hub.load(github, model, force_reload=False, *args, **kwargs) 从github上加载一个带有预训练权重的模型. ...
PyTorch 1.0 中文文档：torch.utils.bottleneck
译者: belonHan torch.utils.bottleneck是调试瓶颈bottleneck时首先用到的工具.它总结了python分析工具与PyTorch自动梯度分析工具在脚本运行中情况. ...
PyTorch 1.0 中文文档：Torch 脚本
译者:keyianpai 创建 Torch 脚本代码将追踪和脚本化结合起来 Torch 脚本语言参考类型表达式语句变量解析 python值的使用调试内置函数 Torch脚本是一种从PyT ...
PyTorch 1.0 中文文档：torch.autograd
译者:gfjiangly torch.autograd 提供类和函数,实现任意标量值函数的自动微分. 它要求对已有代码的最小改变-你仅需要用requires_grad=True关键字为需要计算梯度的声 ...
PyTorch 1.0 中文文档：torch.utils.model_zoo
译者:BXuan694 torch.utils.model_zoo.load_url(url, model_dir=None, map_location=None, progress=True) 由给 ...

PyTorch 1.0 中文文档：torch.nn.init

PyTorch 1.0 中文文档：torch.nn.init相关推荐

最新文章

热门文章