Pytorch nn.BCEWithLogitsLoss()的简单理解与用法

这个东西，本质上和nn.BCELoss()没有区别，只是在BCELoss上加了个logits函数(也就是sigmoid函数)，例子如下：

import torch
import torch.nn as nnlabel = torch.Tensor([1, 1, 0])
pred = torch.Tensor([3, 2, 1])
pred_sig = torch.sigmoid(pred)
loss = nn.BCELoss()
print(loss(pred_sig, label))loss = nn.BCEWithLogitsLoss()
print(loss(pred, label))loss = nn.BCEWithLogitsLoss()
print(loss(pred_sig, label))

输出结果分别为：

tensor(0.4963)
tensor(0.4963)
tensor(0.5990)

可以看到，nn.BCEWithLogitsLoss()相当于是在nn.BCELoss()中预测结果pred的基础上先做了个sigmoid，然后继续正常算loss。所以这就涉及到一个比较奇葩的bug，如果网络本身在输出结果的时候已经用sigmoid去处理了，算loss的时候用nn.BCEWithLogitsLoss()…那么就会相当于预测结果算了两次sigmoid，可能会出现各种奇奇怪怪的问题——

比如网络收敛不了（流泪猫猫头.jpg）

Ref

[1] https://zhuanlan.zhihu.com/p/170558960

Pytorch nn.BCEWithLogitsLoss()的简单理解与用法相关推荐

Pytorch nn.Fold()的简单理解与用法
官方文档:https://pytorch.org/docs/stable/generated/torch.nn.Fold.html 这个东西基本上就是绑定Unfold使用的.实际上,在没有overla ...
Pytorch Tensor.unfold()的简单理解与用法
unfold的作用就是手动实现的滑动窗口操作,也就是只有卷,没有积:不过相比于nn.functional中的unfold而言,其窗口的意味更浓,只能是一维的,也就是不存在类似2×2窗口的说法. ret ...
Pytorch nn.functional.unfold()的简单理解与用法
unfold的作用就是手动实现(卷积中)的滑动窗口操作,也就是只有卷,没有积 ret = F.unfold(inp, size) inp:输入Tensor,必须是四维的(B, C, H, W) siz ...
Pytorch forward()的简单理解与用法
1.基本用法在pytorch中,使用torch.nn包来构建神经网络,我们定义的网络继承自nn.Module类.而一个nn.Module包含神经网络的各个层(放在__init__里面)和前向传播方式 ...
Pytorch nn.DataParallel()的简单用法
简单来说就是使用单机多卡进行训练. 一般来说我们看到的代码是这样的: net = XXXNet() net = nn.DataParallel(net) 这样就可以让模型在全部GPU上训练. 方法定义 ...
Pytorch nn.Transformer的mask理解
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨林小平@知乎(已授权) 来源丨https://zhuanlan ...
收藏 | Pytorch nn.Transformer的mask理解
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者丨林小平@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/35336542 ...
pytorch卷积操作nn.Conv中的groups参数用法解释
MobileNetV1<MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications> ...
Focal Loss 分类问题 pytorch实现代码（简单实现）
ps:由于降阳性这步正负样本数量在差距巨大．正样本1500多个,而负样本750000多个．要用 Focal Loss来解决这个问题．首先感谢Code_Mart的博客把理论汇总了下https://bl ...

Pytorch nn.BCEWithLogitsLoss()的简单理解与用法

Ref

Pytorch nn.BCEWithLogitsLoss()的简单理解与用法相关推荐

最新文章

热门文章