pack_padded_sequence 类似与一个压缩操作。

举个例子：
有一个tensor([[1,2,0], [3,0,0], [4,5,6]])，经过 pack_padded_sequence 之后会得到一个tensor([4,1,3,5,2,6])；再经过pad_packed_sequence之后会得到tensor([[1,2,0], [3,0,0], [4,5,6]])

问：为什么需要这个操作呢？

    答：提高计算效率

逐行解释

from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence # 导包

seq = torch.tensor([[1,2,0], [3,0,0], [4,5,6]])  # shape: [batch_size, seq_len]

lens = [2, 1, 3]  # 每个batch的非零个数，[1,2,0]非零个数为2，[3,0,0]非零个数为1，[4,5,6]非零个数为3

# batch_first 表示seq的第一维是batch_size
packed = pack_padded_sequence(seq, lens, batch_first=True, enforce_sorted=False)

print(packed)
# PackedSequence(data=tensor([4, 1, 3, 5, 2, 6]), batch_sizes=tensor([3, 2, 1]), sorted_indices=tensor([2, 0, 1]), unsorted_indices=tensor([1, 2, 0]))

seq_unpacked, lens_unpacked = pad_packed_sequence(packed, batch_first=True)

print(seq_unpacked)
# tensor([[1, 2, 0], [3, 0, 0], [4, 5, 6]])

print(lens_unpacked)
# tensor([2, 1, 3])

pack_padded_sequence；pad_packed_sequence相关推荐

pack_padded_sequence 和 pad_packed_sequence
参考: pytorch中如何处理RNN输入变长序列padding pack_padded_sequence 和 pad_packed_sequence 大佬们写的都非常nice啊
通过例子10分钟快速看懂pad_sequence、pack_padded_sequence以及pad_packed_sequence
前言 import torch import torch.nn as nnfrom torch.nn.utils.rnn import pad_sequence from torch.nn.utils ...
pack_padded_sequence和pad_packed_sequence详解
先提供一个官网解读 https://pytorch.org/docs/1.0.1/nn.html#torch.nn.utils.rnn.pack_padded_sequence 在使用深度学习特别是L ...
PyTorch中使用LSTM处理变长序列
使用LSTM算法处理的序列经常是变长的,这里介绍一下PyTorch框架下使用LSTM模型处理变长序列的方法.需要使用到PyTorch中torch.nn.utils包中的pack_padded_sequ ...
让阿宅不再寂寞的聊天机器人
阿宅爱上了阿美在一个有星星的夜晚飞机从头顶飞过流星也划破那夜空虽然说人生并没有什么意义但是爱情确实让生活更加美丽阿美嫁给了二富在一个有香槟的晴天豪车从眼前驶过车笛也震动那烈阳虽然说 ...
pytorch中torch.nn.utils.rnn相关sequence的pad和pack操作
目录一.pad_sequence 二.pack_padded_sequence 三.pad_packed_sequence 四.pack_sequence 自然语言处理任务中,模型的输入一般都是变长 ...
transformer与vit
transformer结构,位置编码复现 https://wandb.ai/authors/One-Shot-3D-Photography/reports/-Transformer-Vmlldzo0M ...
[论文阅读笔记70]基于token-token grid模型的信息抽取（5篇）
论文1: TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking 年份 ...
evaluate函数使用无效_使用Keras和Pytorch处理RNN变长序列输入的方法总结
最近在使用Keras和Pytorch处理时间序列数据,在变长数据的输入处理上踩了很多坑.一般的通用做法都需要先将一个batch中的所有序列padding到同一长度,然后需要在网络训练时屏蔽掉paddi ...

pack_padded_sequence；pad_packed_sequence

pack_padded_sequence 类似与一个压缩操作。

问：为什么需要这个操作呢？

逐行解释

pack_padded_sequence；pad_packed_sequence相关推荐

最新文章

热门文章