nn.Softmax

nn.Softmax(dim=None)

dim: 计算的维度 A dimension along which Softmax will be computed (so every slice along dim will sum to 1).

用softmax函数将N维输入进行归一化，归一化之后每个输出的Tensor范围在[0, 1]，并且归一化的那一维和为1
Applies the Softmax function to an n-dimensional input Tensor rescaling them so that the elements of the n-dimensional output Tensor lie in the range [0,1] and sum to 1.

S o f t m a x ( x i ) = e x i ∑ j e x j Softmax(x_{i}) = \frac{e^{x_{i}}}{\sum_{j}e^{x_{j}}} Softmax(xi)=∑jexjexi

实例：从下面的例子可以看出，Softmax维度为0时对最后一维即列进行归一化，因此 x 00 + x 10 + x 20 = 1 x_{00}+x_{10}+x_{20}=1 x00+x10+x20=1，维度为1时对行进行归一化

input = torch.Tensor([[1,2,3], [4,5,6], [7,8,9]])
m0 = nn.Softmax(dim=0)
m1 = nn.Softmax(dim=1)
output0 = m0(input)
output1 = m1(input)print("input: ", input)
print("output0: ", output0)
print("output1: ", output1)
'''
input:  tensor([[1., 2., 3.],[4., 5., 6.],[7., 8., 9.]])
output0:  tensor([[0.0024, 0.0024, 0.0024],[0.0473, 0.0473, 0.0473],[0.9503, 0.9503, 0.9503]])
output1:  tensor([[0.0900, 0.2447, 0.6652],[0.0900, 0.2447, 0.6652],[0.0900, 0.2447, 0.6652]])'''

nn.Softmax相关推荐

tf.nn.softmax参数详解以及作用
tf.nn.softmax参数详解以及作用参考地址:https://zhuanlan.zhihu.com/p/93054123 tf.nn.softmax(logits,axis=None,name ...
成功解决return tf.nn.softmax(x, axis=axis) TypeError: softmax() got an unexpected keyword argument 'axis
成功解决return tf.nn.softmax(x, axis=axis) TypeError: softmax() got an unexpected keyword argument 'axis ...
tf.nn.softmax
通过Softmax回归,将logistic的预测二分类的概率的问题推广到了n分类的概率的问题.通过公式可以看出当月分类的个数变为2时,Softmax回归又退化为logistic回归问题. 下面 ...
pytorch nn.Softmax
应用 m = nn.Softmax(dim=1) input = torch.randn(2, 3) output = m(input) 概念 API 将多个输出值转换为概率值,范围在[0,1],且概 ...
nn.softmax的参数使用和数据使用
nn.Softmax ,dim=0 对于二维数组的dim=0时,将每列的每个元素和这一列的自然指数之和进行比, import torch.nn as nn import numpy as np imp ...
nn.Softmax(dim) 的理解
使用pytorch框架进行神经网络训练时,涉及到分类问题,就需要使用softmax函数,这里以二分类为例,介绍nn.Softmax()函数中,参数的含义. 1. 新建一个2x2大小的张量,一行理解成一 ...
Pytorch中torch.nn.Softmax的dim参数含义
自己搞了一晚上终于搞明白了,下文说的很透彻,做个记录,方便以后翻阅 Pytorch中torch.nn.Softmax的dim参数含义
nn.Softmax(dim=1)(outputs) 与 torch.max(probs, 1)[1]的理解
已知在模型训练之后,会得出一个outputs,后遇到torch.max(probs, 1)[1]这行代码,不是很清楚它的意思,所以对其进行逐步调试,理清了思路: outputs = model(i ...
【Pytorch】torch.nn. Softmax()
目录简介 torch.nn.Softmax() 语法作用举例参考结语简介 Hello! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- ଘ(੭ˊᵕˋ)੭ 昵称:海轰标签 ...
KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div）计算技巧(一)
最近在比较不同模型的性能,发现虽然文献中使用的相同的指标,比如KLD.但是数据的处理方式却存在着差异,这会导致最后的数据并不具有直接可比性. 这里记录下,其中的一些值得记住的细节.主要涉及的API包括 ...

nn.Softmax

nn.Softmax相关推荐

最新文章

热门文章