PyTorch踩过的12坑 | CSDN博文精选
作者 | hyk_1996
来源 | CSDN博客
model = model.cuda()
model.cuda()
model = create_a_model()
tensor = torch.zeros([2,3,10,10])
model.cuda()
tensor.cuda()
model(tensor) # 会报错
tensor = tensor.cuda()
model(tensor) # 正常运行
total_loss += loss.item()
# torch.device object used throughout this script
device = torch.device("cuda" if use_cuda else "cpu")
model = MyRNN().to(device)
# train
total_loss= 0
for input, target in train_loader:
input, target = input.to(device), target.to(device)
hidden = input.new_zeros(*h_shape) # has the same device & dtype as `input`
... # get loss and optimize
total_loss += loss.item()
# test
with torch.no_grad(): # operations inside don't track history
for input, targetin test_loader:
...
Returns a new Tensor, detached from the current graph.
The result will never require gradient.
input_B = output_A.detach()
以CrossEntropyLoss为例:
CrossEntropyLoss(self, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='elementwise_mean')
若 reduce = False,那么 size_average 参数失效,直接返回向量形式的 loss,即batch中每个元素对应的loss.
若 reduce = True,那么 loss 返回的是标量:
如果 size_average = True,返回 loss.mean().
如果 size_average = False,返回 loss.sum().
weight : 输入一个1D的权值向量,为各个类别的loss加权,如下公式所示:
ignore_index : 选择要忽视的目标值,使其对输入梯度不作贡献。如果 size_average = True,那么只计算不被忽视的目标的loss的均值。
reduction : 可选的参数有:‘none’ | ‘elementwise_mean’ | ‘sum’, 正如参数的字面意思,不解释。
if self.training and self.track_running_stats:
self.num_batches_tracked += 1
if self.momentum is None: # use cumulative moving average
exponential_average_factor = 1.0 / self.num_batches_tracked.item()
else: # use exponential moving average
exponential_average_factor = self.momentum
load_state_dict(torch.load(weight_path), strict=False)
import numpy as np
# 判断输入数据是否存在nan
if np.any(np.isnan(input.cpu().numpy())):
print('Input data has NaN!')
# 判断损失是否为nan
if np.isnan(loss.item()):
print('Loss value is NaN!')
raise ValueError('Expected more than 1 value per channel when training, got input size {}'.format(size))
(*本文为 AI科技大本营转载文章,转载请联系原作者)
◆
精彩推荐
◆
2019 中国大数据技术大会(BDTC)再度来袭!豪华主席阵容及百位技术专家齐聚,15 场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读,深入解析热门技术在行业中的实践落地。6.6 折票限时特惠(立减1400元),学生票仅 599 元!
推荐阅读
PyTorch踩过的12坑 | CSDN博文精选相关推荐
- 谈谈我在PyTorch踩过的12坑
点击上方"码农突围",马上关注 这里是码农充电第一站,回复"666",获取一份专属大礼包 真爱,请设置"星标"或点个"在看&quo ...
- PyTorch实现L2和L1正则化的方法 | CSDN博文精选
作者 | pan_jinquan 来源 | CSDN博文精选 目录 1.torch.optim优化器实现L2正则化 2.如何判断正则化作用了模型? 2.1未加入正则化loss和Accuracy 2.1 ...
- 云原生开发环境初探 | CSDN 博文精选
作者 | 倚天码农 责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 此前,我们分享了云原生的引申含义(https://blog.csdn.net/weixin_38748858/arti ...
- 一文读懂GoogLeNet神经网络 | CSDN博文精选
作者 | .NY&XX 来源 | CSDN博客 本文介绍的是著名的网络结构GoogLeNet,目的是试图领会其中结构设计思想. GoogLeNet特点 优化网络质量的生物学原理 GoogLeN ...
- 数学建模三剑客MSN | CSDN博文精选
作者 | 天元浪子 来源 | CSDN博文精选 (*点击阅读原文,查看作者更多精彩文章) 1.前言 2.三剑客之Numpy 2.1 数组对象 2.1.1 数据类型 2.1.2 创建数组 2.1.3 ...
- gensim词向量Word2Vec安装及《庆余年》中文短文本相似度计算 | CSDN博文精选
作者 | Eastmount 来源 | CSDN博文精选 (*点击阅读原文,查看作者更多精彩文章) 本篇文章将分享gensim词向量Word2Vec安装.基础用法,并实现<庆余年>中文短文 ...
- 干货:NIST评测(SRE19)获胜团队声纹识别技术分析 | CSDN博文精选
作者 | xjdier 来源 | CSDN博文精选 (*点击阅读原文,查看作者更多精彩文章) 近日,NIST说话人识别技术评测 (Speaker Recognition Evaluation,SRE) ...
- 利用MTCNN和FaceNet实现人脸检测和人脸识别 | CSDN博文精选
作者 | pan_jinquan 来源 | CSDN博文精选 (*点击阅读原文,查看作者更多文章) 人脸检测和人脸识别技术算是目前人工智能方面应用最成熟的技术了.本博客将利用MTCNN和FaceNet ...
- 使用自己的数据集训练MobileNet、ResNet实现图像分类(TensorFlow)| CSDN博文精选
作者 | pan_jinquan 来源 | CSDN博文精选 之前写了一篇博客<使用自己的数据集训练GoogLenet InceptionNet V1 V2 V3模型(TensorFlow)&g ...
最新文章
- ADAS辅助驾驶_自动驾驶_技术点列表
- 【BZOJ-1127】KUP 悬线法 + 贪心
- Python正则表达式用法总结
- 2010年04月 小记(MVC2validation, svn)
- CSDN下载频道于2014年7月17日改版,23日-24日系统维护
- 目前人工智能技术,主要有应用于哪些领域?
- Pipeline快速入门
- w3c标准语言,W3C标准 - W3C中国
- 深度学习基础知识整理
- python 爱心文字墙_博客园墙裂推荐!从未见过如些清新脱俗的完整Python+requests接口自动化测试框架搭建文章!...
- python如何创建一个文件夹_利用Python怎么创建一个文件夹
- weiphp短信接口教程
- nginx uwsgi django部署
- docker容器 如何精简镜像减小体积
- 智慧工地-未来工地新形态
- 利用xls下载链接下载资源
- 爆料:955不加班公司名单(2023最新版)
- 支付宝蚂蚁庄园线下支付链接,支付宝蚂蚁庄园线下支付地址
- 十二生肖在英文中的寓意
- HighCharts中柏拉图上显示数值
热门文章
- ASP.net(C#)批量上传图片(完整版)
- 大有可为的“正则表达式”(二)
- Luna的大学读书史(1,Intro)
- 视频工具ffmpeg
- HDU 2561 第二小整数
- Alpha冲刺(9/10)
- 关于 MongoDB 与 SQL Server 通过本身自带工具实现数据快速迁移 及 注意事项 的探究...
- 转载:HBuilder常用快捷键
- zookeeper入门系列 : 分布式事务
- 01--安装Activiti流程设计器eclipse插件