关于nn.embedding的中padding

自然语言中使用批处理时候, 每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, 填充的数据一般是0, 这个时候, 在进行词嵌入的时候就会进行相应的处理, nn.embedding会将填充的映射为0

其中padding_idx就是这个参数, 这里以3 为例, 也就是说补长句子的时候是以3padding的, 这个时候我们液晶padding_idx设为3

import torch
import torch.nn as nnembed = nn.Embedding(10, 3, padding_idx=3) # padding_idx 默认是0
embed.weight

你会看到所以为3的向量为0, 让我们再举个栗子

x = torch.tensor([[2, 2, 3, 3], [1, 2, 5, 4]])
embed(x)

有两个句子, 长度是4, 但是第一个句子长度只有2, 另外其是由3来padding的, 这时候通过embedding我们可以看到:

映射后是0了,这样继续进行后续的计算了

关于nn.embedding的中padding_idx的含义相关推荐

torch.nn.Embedding()中的padding_idx参数解读
torch.nn.Embedding() Word Embedding 词嵌入,就是把一个词典,随机初始化映射为一个向量矩阵. 列如:有一组词典,有两个词"hello"和" ...
nn.Embedding中padding_idx的理解
每个句子的长度并不一定是等长的, 这时候就需要对较短的句子进行padding, nn.Embedding中padding_idx是指定padding的索引值. #实例化词嵌入对象,序列进行paddin ...
深入理解padding_idx(nn.Embedding、nn.Embedding.from_pretrained）
这个参数出现在一些地方,例如: nn.Embedding.nn.Embedding.from_pretrained. import torch import torch.nn as nn import ...
什么是embedding（把物体编码为一个低维稠密向量）,pytorch中nn.Embedding原理及使用
文章目录使embedding空前流行的word2vec 句子的表达训练样本损失函数输入向量表达和输出向量表达vwv_{w}vw 从word2vec到item2vec 讨论环节 pytorch ...
pytorch中nn.Embedding和nn.LSTM和nn.Linear
使用pytorch实现一个LSTM网络很简单,最基本的有三个要素:nn.Embedding, nn.LSTM, nn.Linear 基本框架为: class LSTMModel(nn.Module): ...
pytorch nn.Embedding
pytorch nn.Embedding class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_n ...
torch.nn.Embedding理解
Pytorch官网的解释是:一个保存了固定字典和大小的简单查找表.这个模块常用来保存词嵌入和用下标检索它们.模块的输入是一个下标的列表,输出是对应的词嵌入. torch.nn.Embedding(nu ...
torch.nn.Embedding的使用
torch.nn.Embedding 在使用pytorch进行词嵌入使用torch.nn.Embedding()就可以做到 nn.Embedding在pytoch中的解释 class torch.nn ...
nn.Embedding使用
nn.Embedding是一种词嵌入的方式,跟one-hot相似但又不同,会生成低维稠密向量,但是初始是随机化的,需要根据模型训练时进行调节,若使用预训练词向量模型会比较好. 1. one-hot o ...

关于nn.embedding的中padding_idx的含义

关于nn.embedding的中padding_idx的含义相关推荐

最新文章

热门文章