nn.Softmax(dim) 的理解

使用pytorch框架进行神经网络训练时，涉及到分类问题，就需要使用softmax函数，这里以二分类为例，介绍nn.Softmax()函数中，参数的含义。

1. 新建一个2x2大小的张量，一行理解成一个样本经过前面网络计算后的输出（1x2），则batch_size是2。

import numpy as np

import torch

import torch.nn as nn

a = np.array([[1.5, 6.7],[6.8, 3.4]])

b = torch.from_numpy(a)

2. 下面调用nn.Softmax(dim)，dim分别为0，1，看看结果是什么样子

f = nn.Softmax(dim = 0)

c = f(b)

结果： tensor([[0.0050, 0.9644], [0.9950, 0.0356]], dtype=torch.float64)

可以发现，是每一列和为1.

f = nn.Softmax(dim = 1)

结果：tensor([[0.0055, 0.9945], [0.9677, 0.0323]], dtype=torch.float64)

可以发现是每一行和为1

所以，当nn.Softmax的输入是一个二维张量时，其参数dim = 0，是让列之和为1；dim = 1，是让行之和为1。

若nn.Softmax的输入是三维张量时，dim的取值就变成了0，1，2，那又是代表什么意思呢，看下面的例子。

a = np.array([[[1.5, 6.7, 2.4],

[6.8, 3.4, 9.3]],

[[3.1, 6.5, 1.9],

[8.9, 1.2, 2.5]]])

我们把a换成一个三维数组，大小是2x2x3，可以看成是2个2x3大小的输入。

这时，我们定义Softmax函数的dim为0，则结果是：

tensor([[[0.1680, 0.5498, 0.6225],

[0.1091, 0.9002, 0.9989]],

[[0.8320, 0.4502, 0.3775],

[0.8909, 0.0998, 0.0011]]], dtype=torch.float64)

可以发现，0.1680+0.8320 = 1， 0.5498+0.4502 = 1，即dim = 0，是让两个2x3数据的对应位置和为1.

使dim=1，结果是：

tensor([[[0.0050, 0.9644, 0.0010],

[0.9950, 0.0356, 0.9990]],

[[0.0030, 0.9950, 0.3543],

[0.9970, 0.0050, 0.6457]]], dtype=torch.float64)

可以发现，0.0050+0.9950 = 1，0.9644+0.0356 = 1，即dim = 1，是让张量每个2x3数据自己的列之和为1.

使dim=2，就是让张量每个2x3数据自己的行之和为1.

作者：不太聪明的亚子
链接：https://www.jianshu.com/p/3d63f36cc960
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

nn.Softmax(dim) 的理解相关推荐

nn.Softmax(dim=1)(outputs) 与 torch.max(probs, 1)[1]的理解
已知在模型训练之后,会得出一个outputs,后遇到torch.max(probs, 1)[1]这行代码,不是很清楚它的意思,所以对其进行逐步调试,理清了思路: outputs = model(i ...
【从零学Python】理解nn.Softmax(dim=1)(outputs) 与 torch.max(probs, 1)[1]
已知在模型训练之后,会得出一个outputs,后遇到torch.max(probs, 1)[1]这行代码,不是很清楚它的意思,所以对其进行逐步调试,理清了思路: outputs = model(inp ...
pytorch nn.Softmax
应用 m = nn.Softmax(dim=1) input = torch.randn(2, 3) output = m(input) 概念 API 将多个输出值转换为概率值,范围在[0,1],且概 ...
nn.softmax的参数使用和数据使用
nn.Softmax ,dim=0 对于二维数组的dim=0时,将每列的每个元素和这一列的自然指数之和进行比, import torch.nn as nn import numpy as np imp ...
nn.Softmax
nn.Softmax(dim=None) dim: 计算的维度 A dimension along which Softmax will be computed (so every slice alo ...
Pytorch中torch.nn.Softmax的dim参数含义
自己搞了一晚上终于搞明白了,下文说的很透彻,做个记录,方便以后翻阅 Pytorch中torch.nn.Softmax的dim参数含义
KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div）计算技巧(一)
最近在比较不同模型的性能,发现虽然文献中使用的相同的指标,比如KLD.但是数据的处理方式却存在着差异,这会导致最后的数据并不具有直接可比性. 这里记录下,其中的一些值得记住的细节.主要涉及的API包括 ...
tf.nn.softmax参数详解以及作用
tf.nn.softmax参数详解以及作用参考地址:https://zhuanlan.zhihu.com/p/93054123 tf.nn.softmax(logits,axis=None,name ...
成功解决return tf.nn.softmax(x, axis=axis) TypeError: softmax() got an unexpected keyword argument 'axis
成功解决return tf.nn.softmax(x, axis=axis) TypeError: softmax() got an unexpected keyword argument 'axis ...

nn.Softmax(dim) 的理解

nn.Softmax(dim) 的理解相关推荐

最新文章

热门文章