内容介绍

在调用pytorch的损失函数时，会有一个’reduction’的参数，本文介绍使用不同的参数对应的结果，以L1 loss为例子：

reduction = mean

当使用的参数为 mean(在pytorch1.7.1中elementwise_mean已经弃用)会对N个样本的loss进行平均之后返回

import torch
import torch.nn as nn
from torch.autograd import Variable
sample = Variable(torch.ones(1,4))
target = Variable(torch.tensor([0,1,2,3]))
criterion = nn.L1Loss(reduction='mean')
loss = criterion(sample,target)
print(loss)

输出：tensor(1.0)

reduction = sum

当使用的参数为 sum会对N个样本的loss求和

import torch
import torch.nn as nn
from torch.autograd import Variable
sample = Variable(torch.ones(1,4))
target = Variable(torch.tensor([0,1,2,3]))
criterion = nn.L1Loss(reduction='sum')
loss = criterion(sample,target)
print(loss)

输出：tensor(4.)

reduction = none

表示直接返回n分样本的loss

import torch
import torch.nn as nn
from torch.autograd import Variable
sample = Variable(torch.ones(1,4))
target = Variable(torch.tensor([0,1,2,3]))
criterion = nn.L1Loss(reduction='none')
loss = criterion(sample,target)
print(loss)

输出：tensor([[1.,0.,1.,2.]])

pytorch损失函数中‘reduction‘参数相关推荐

Pytorch lstm中batch_first 参数理解使用
作为新手学习和使用Lstm处理数据时,多数会对这个参数有些疑惑,经过长时间的查找资料和个人理解,对这个参数有以下认识: 1.此参数的作用 loader = Data.DataLoader(datase ...
对比学习损失函数中超参数temperature的作用
目录背景超参数temperature的直观理解对比学习中的temperature参数理解背景最近在看凯明大神的对比学习MOCO时,看到infoNCE loss的公式时,对其中参数T(应该是t ...
PyTorch官方中文文档：torch.optim 优化器参数
内容预览: step(closure) 进行单次优化 (参数更新). 参数: closure (callable) –...~ 参数: params (iterable) – 待优化参数的iterab ...
Pytorch中tensor维度和torch.max()函数中dim参数的理解
Pytorch中tensor维度和torch.max()函数中dim参数的理解维度参考了 https://blog.csdn.net/qq_41375609/article/details/106 ...
PyTorch计算损失函数对模型参数的Hessian矩阵
前言在实现Per-FedAvg的代码时,遇到如下问题: 可以发现,我们需要求损失函数对模型参数的Hessian矩阵. 模型定义我们定义一个比较简单的模型: class ANN(nn.Module) ...
Pytorch —— 损失函数（二）
目录 5.nn.L1Loss 6.nn.MSELoss 7.nn.SmoothL1Loss 8.nn.PoissonNLLLoss 9.nn.KLDivLoss 10.nn.MarginRanking ...
ML之XGBoost：XGBoost参数调优的优秀外文翻译—《XGBoost中的参数调优完整指南(带python中的代码)》(二)
ML之XGBoost:XGBoost参数调优的优秀外文翻译-<XGBoost中的参数调优完整指南(带python中的代码)>(二) 目录 2. xgboost参数/XGBoost Para ...
损失函数中正则化项L1和L2的理解
正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1-norm和ℓ2-norm,中文称作L1正则化和L2正则化,或者L ...
pytorch笔记 pytorch模型中的parameter与buffer
1 模型的两种参数在 Pytorch 中一种模型保存和加载的方式如下:(具体见pytorch模型的保存与加载_刘文巾的博客-CSDN博客) #save torch.save(net.state_di ...

pytorch损失函数中‘reduction‘参数

内容介绍

reduction = mean

reduction = sum

reduction = none

pytorch损失函数中‘reduction‘参数相关推荐

最新文章

热门文章