torch.nn.Embedding
在pytorch里面实现word embedding
是通过一个函数来实现的:nn.Embedding
1
2
3
4
5
6
7
8
9
10
11
12
13
|
# -*- coding: utf-8 -*-
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
word_to_ix = { 'hello' : 0, 'world' : 1}
embeds = nn.Embedding(2, 5)
hello_idx = torch.LongTensor([word_to_ix[ 'hello' ]])
hello_idx = Variable(hello_idx)
hello_embed = embeds(hello_idx)
print(hello_embed)
|
这就是我们输出的hello这个词的word embedding,代码会输出如下内容,接下来我们解析一下代码:
1
2
3
|
Variable containing:
0.4606 0.6847 -1.9592 0.9434 0.2316
[torch.FloatTensor of size 1x5]
|
首先我们需要word_to_ix = {'hello': 0, 'world': 1}
,每个单词我们需要用一个数字去表示他,这样我们需要hello的时候,就用0来表示它。
接着就是word embedding
的定义nn.Embedding(2, 5)
,这里的2表示有2个词,5表示5维度,其实也就是一个2x5的矩阵,所以如果你有1000个词,每个词希望是100维,你就可以这样建立一个word embedding
,nn.Embedding(1000, 100)
。如何访问每一个词的词向量是下面两行的代码,注意这里的词向量的建立只是初始的词向量,并没有经过任何修改优化,我们需要建立神经网络通过learning
的办法修改word embedding
里面的参数使得word embedding
每一个词向量能够表示每一个不同的词。
1
2
|
hello_idx = torch.LongTensor([word_to_ix[ 'hello' ]])
hello_idx = Variable(hello_idx)
|
接着这两行代码表示得到一个Variable
,它的值是hello
这个词的index
,也就是0。这里要特别注意一下我们需要Variable,因为我们需要访问nn.Embedding
里面定义的元素,并且word embeding
算是神经网络里面的参数,所以我们需要定义Variable
。
hello_embed = embeds(hello_idx)
这一行表示得到word embedding
里面关于hello
这个词的初始词向量,最后我们就可以print出来。
torch.nn.Embedding相关推荐
- torch.nn.Embedding理解
Pytorch官网的解释是:一个保存了固定字典和大小的简单查找表.这个模块常用来保存词嵌入和用下标检索它们.模块的输入是一个下标的列表,输出是对应的词嵌入. torch.nn.Embedding(nu ...
- 模型的第一层:详解torch.nn.Embedding和torch.nn.Linear
文章目录 1.概述 2.Embedding 2.1 nn.Linear 2.2 nn.Embedding 对比 初始化第一层 1.概述 torch.nn.Embedding是用来将一个数字变成一个指定 ...
- pytorch torch.nn.Embedding
词嵌入矩阵,可以加载使用word2vector,glove API CLASS torch.nn.Embedding(num_embeddings: int, embedding_dim: int, ...
- torch.nn.Embedding()的固定化
问题 最近在运行模型时,结果不稳定,所以尝试修改随机初始化的参数,使参数是随机初始化的,但是每次都一样 发现是用了 self.embed_user = nn.Embedding(user_num, f ...
- 正态分布初始化 torch.nn.Embedding.weight()与torch.nn.init.normal()的验证对比
torch.nn.Embedding.weight(num_embeddings, embedding_dim) 随机初始化,生成标准正态分布N(0,1)N(0,1)N(0,1)的张量Tensor t ...
- torch.nn.Embedding的使用
torch.nn.Embedding 在使用pytorch进行词嵌入使用torch.nn.Embedding()就可以做到 nn.Embedding在pytoch中的解释 class torch.nn ...
- torch.nn.Embedding()中的padding_idx参数解读
torch.nn.Embedding() Word Embedding 词嵌入,就是把一个词典,随机初始化映射为一个向量矩阵. 列如:有一组词典,有两个词"hello"和" ...
- embedding = torch.nn.Embedding(10, 3)
embedding = torch.nn.Embedding(10, 3) 通过 word embedding,就可以将自然语言所表示的单词或短语转换为计算机能够理解的由实数构成的向量或矩阵形式(比如 ...
- 【Pytorch基础教程28】浅谈torch.nn.embedding
学习总结 文章目录 学习总结 一.nn.Embedding 二.代码栗子 2.1 通过embedding降维 2.2 RNN中用embedding改进 2.3 deepFM模型中embedding R ...
最新文章
- Linux用init命令关机、重启、切换模式
- 如何配置Spring Boot Tomcat
- 全网最全 Python 操作 Excel 教程,建议收藏!
- Linux设备驱动之Ioctl控制
- pip更新后怎么还是旧版本_微信号不能修改第二次怎么办?微信更新后还是不能修改微信号怎么办?...
- output在delete中的应用
- 二维平面坐标系中,判断某点是否在正六边形内 | python 实现 + 数学推导(已知正六边形六个顶点坐标)
- Ubuntu 安装配置 ROR3
- 综合评价法——秩和比(RSR)
- 2020最新Java常见面试题及答案
- 【Python入门教程】第35篇 查找元素的位置
- [C++] [OpenGL] 基于GLFW+GLAD的OpenGL简单程序
- python无限循环小数是有理数吗_证明:所有无限循环小数都是无理数
- 大数据杀熟!我被美团会员割了韭菜
- 盘点2018年云计算热点:云原生、全栈云,云大脑,谁能独占鳌头?
- iOS线下分享《RunLoop》by 孙源@sunnyxx
- Invalid vnode type when creating vnode: undefined. vue 3.2版本错误解决
- 2006年100首好歌
- http://www.115ps.com/all.html,Tynamo
- 如何完全卸载VS2010(亲自体验过)