pytorch Vocab

执行数字化操作, 将每个单词对应一个数字

TEXT.build_vocab(trn)

预训练词向量

TorchText提供了加载预训练词向量的功能

pretrained_aliases = {"charngram.100d": partial(CharNGram),"fasttext.en.300d": partial(FastText, language="en"),"fasttext.simple.300d": partial(FastText, language="simple"),"glove.42B.300d": partial(GloVe, name="42B", dim="300"),"glove.840B.300d": partial(GloVe, name="840B", dim="300"),"glove.twitter.27B.25d": partial(GloVe, name="twitter.27B", dim="25"),"glove.twitter.27B.50d": partial(GloVe, name="twitter.27B", dim="50"),"glove.twitter.27B.100d": partial(GloVe, name="twitter.27B", dim="100"),"glove.twitter.27B.200d": partial(GloVe, name="twitter.27B", dim="200"),"glove.6B.50d": partial(GloVe, name="6B", dim="50"),"glove.6B.100d": partial(GloVe, name="6B", dim="100"),"glove.6B.200d": partial(GloVe, name="6B", dim="200"),"glove.6B.300d": partial(GloVe, name="6B", dim="300")
}

如果需要使用这些词向量, 可以通过的两种方式使用

# 直接通过名称获取预训练词向量
TEXT.build_vocab(train, vectors="glove.6B.200d")# 或者通过一个具体的类型来获取相应的词向量
TEXT.build_vocab(train, vectors=GloVe(name='6B', dim=300))

通过上述的方法加载词向量后, 可以将词向量的值传递给Embedding层, 代码如下

# 通过pytorch创建的Embedding层
embedding = nn.Embedding(2000, 256)
# 指定嵌入矩阵的初始权重
weight_matrix = TEXT.vocab.vectors
embedding.weight.data.copy_(weight_matrix )

参考：
https://lizec.top/2020/04/11/PyTorch%E7%AC%94%E8%AE%B0%E4%B9%8BTorchText/
https://www.jianshu.com/p/71176275fdc5

pytorch Vocab相关推荐

pyTorch api
应用 pytorch FC_regression pytorch FC_classification pytorch RNN_regression pytorch LSTM_regression py ...
pytorch nn.Embedding
pytorch nn.Embedding class torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_n ...
Pytorch | BERT模型实现，提供转换脚本【横扫NLP】
<谷歌终于开源BERT代码:3 亿参数量,机器之心全面解读>,上周推送的这篇文章,全面解读基于TensorFlow实现的BERT代码.现在,PyTorch用户的福利来了:一个名为Huggi ...
Pytorch学习记录-torchtext和Pytorch的实例（使用神经网络训练Seq2Seq代码）
Pytorch学习记录-torchtext和Pytorch的实例1 0. PyTorch Seq2Seq项目介绍 1. 使用神经网络训练Seq2Seq 1.1 简介,对论文中公式的解读 1.2 数据预 ...
PyTorch在NLP任务中使用预训练词向量
在使用pytorch或tensorflow等神经网络框架进行nlp任务的处理时,可以通过对应的Embedding层做词向量的处理,更多的时候,使用预训练好的词向量会带来更优的性能.下面分别介绍使用ge ...
[实现] 利用 Seq2Seq 预测句子后续字词（Pytorch）2
最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词. 本文使用了 Seq2Seq 模型,输入为 5 个中文字词,输出为 1 个中文字词. 目录关于RNN 语料预处理 ...
[实现] 利用 Seq2Seq 预测句子后续字词（Pytorch）
最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词. 本文使用了 Seq2Seq 模型,输入为5个中文字词,输出为一个中文字词. 目录关于RNN 语料预处理搭建数据 ...
Pytorch+Text-CNN+Word2vec+电影评论情感分析实战
文章目录 0.前言 1.电影评论数据集 2.数据读取 3.数据预处理 4.准备训练和测试集 5.加载词向量模型Word2vec 6.定义网络 7.训练网络 8.测试网络和可视化 9.总结 0.前言很 ...
pytorch 实现transformer
transformer理论部分见机器学习笔记:Transformer_刘文巾的博客-CSDN博客 1 导入库 import math import torch import numpy as np i ...

pytorch Vocab

pytorch Vocab相关推荐

最新文章

热门文章