pytorch kl散度学习笔记

KL散度，也叫做相对熵，计算公式如下：

import torch.nn as nn
import torch
import torch.nn.functional as F
if __name__ == '__main__':x_o=torch.Tensor([[1,2],[3,4]])y_o=torch.Tensor([[0.1,0.2],[0.3,0.4]])# x = F.log_softmax(x)x = F.softmax(x_o, dim=1)y = F.softmax(y_o, dim=1)criterion = nn.KLDivLoss()klloss = criterion(x, y)print('klloss',klloss)kl = F.kl_div(x_o.softmax(dim=-1).log(), y_o.softmax(dim=-1), reduction='sum')print('kl',kl)

以下内容转自：

pytorch kl散度学习笔记相关推荐

pytorch KL散度学习
pytorch官方文档中给出了说明下面是在学习过程中需要注意的: KL散度,也叫做相对熵,计算公式如下: KL(p∣∣q)=∑P(x)log(P(X)Q(x))KL(p||q) =\sum{P(x) ...
kl散度学习笔记python实现
KL Divergence KL( Kullback–Leibler) Divergence中文译作KL散度,从信息论角度来讲,这个指标就是信息增益(Information Gain)或相对熵(Rel ...
Dynamic Quantization PyTorch官方教程学习笔记
诸神缄默不语-个人CSDN博文目录本文是PyTorch的教程Dynamic Quantization - PyTorch Tutorials 1.11.0+cu102 documentation的学 ...
PyTorch基础教程学习笔记（八）：训练一个分类器
数据应该怎么办呢? 通常来说,当必须处理图像.文本.音频或视频数据时,可以使用python标准库将数据加载到numpy数组里.然后将这个数组转化成torch.*Tensor. 对于图片,有Pillow ...
pytorch基础操作学习笔记（autograd，Tensor）
简述简单讲讲关于torch.autograd内容(因为我也有点菜) 文章目录简述简单讲讲 Tensor 介绍Tensor 创建Tensor 获取Tensor数据规模将tensor转成其他数据类 ...
pytorch adagrad_【学习笔记】Pytorch深度学习—优化器（二）
点击文末阅读原文,体验感更好哦! 前面学习过了Pytorch中优化器optimizer的基本属性和方法,优化器optimizer的主要功能是 "管理模型中的可学习参数,并利用参数的梯度gr ...
Pytorch——DataLoader的学习笔记~
1 前言今天在学习动物多分类~ 示例代码里面使用的是Pytorch~ 2 DataLoader数据载入器 2.1 num_workers参数设置 num_workers是DataLoader构造函数 ...
pytorch scatter_函数学习笔记
在pytorch中,scatter是一个非常实用的映射函数,其将一个源张量(src)中的值按照指定的轴方向(dim)和对应的位置关系(index)逐个填充到目标张量(target)中,其函数写法为: ...
lenet pytorch 官方demo学习笔记
文章目录 model predict train 教程连接数据集 cifa10 batch 一批数据集的个数 channel 深度,灰度图为1,rgb为3 height,width 宽高,32 在p ...

pytorch kl散度学习笔记

pytorch kl散度学习笔记相关推荐

最新文章

热门文章