vocab.get(word, vocab.get(UNK))

在自然语言处理中为tokenize后的句子进行转化成id时会用到，该代码的意思是，如果在词表vocab中有word这个单词，那么就取出它的id；如果没有，就去除UNK（未知词）对应的id，其中UNK表示所有的未知词（out of vocab）都对应该id，对应到下一步取词向量时，该id对应的词向量就表示所有未知词语义的平均。

vocab.get(word, vocab.get(UNK))相关推荐

基于Pytorch的NLP入门任务思想及代码实现：判断文本中是否出现指定字
今天学了第一个基于Pytorch框架的NLP任务: 判断文本中是否出现指定字思路:(注意:这是基于字的算法) 任务:判断文本中是否出现"xyz",出现其中之一即可训练部分: 一 ...
[Pytorch系列-61]：循环神经网络 - 中文新闻文本分类详解-3-CNN网络训练与评估代码详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
【LSTM新闻数据集分类代码】
rnn import time import torch import numpy as np from train_eval import train, init_network from impo ...
NLP 第五周语言模型，bert（2）
BERT类预训练语言模型我们传统训练网络模型的方式首先需要搭建网络结构,然后通过输入经过标注的训练集和标签来使得网络可以直接达成我们的目的.这种方式最大的缺点就是时间长,因为我们对于模型权重的初始化 ...
[Pytorch系列-60]：循环神经网络 - 中文新闻文本分类详解-2-LSTM网络训练与评估代码详解
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
卷积神经网络实现THUCNews新闻文本分类（Pytorch实现）
代码结构整体代码结构如下图所示: 点击run.py文件,直接运行.可以手动调节参数以及更换模型 1数据集本文采用的数据集属于清华NLP组提供的THUCNews新闻文本分类数据集的一个子集(原始的数 ...
【nlp自然语言处理实战】案例---FastText模型文本分类
目录 1.案例简介 2 代码 2.1 load_data.py 2.2 load_data_iter.py 2.3 FastText.py 2.4 train.py 2.5 predict.py 2. ...
自然语言处理NLP文本分类顶会论文阅读笔记（一）
笔记目录关于Transformer 小样本学习 BERT: Pre-training of Deep Bidirectional Transformers for Language Understa ...
6. 吴恩达机器学习课程-作业6-SVM
fork了别人的项目,自己重新填写,我的代码如下 https://gitee.com/fakerlove/machine-learning/tree/master/code 代码原链接文章目录 6. ...

vocab.get(word, vocab.get(UNK))

vocab.get(word, vocab.get(UNK))相关推荐

最新文章

热门文章