ELMo模型的理解与实践（2）

预训练好的词向量已经released，这里介绍一下，如何直接获取ELMo词向量。在pytorch里可以通过AlenNLP包使用ELMo。

一、环境配置

1) 在conda中创建allennlp环境：

conda create -n allennlp python=3.6

2) 安装allennlp

pip install allennlp

二、下载训练好的参数和模型

参数下载：

https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5

模型下载：

https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_options.json

三、获得词向量

from allennlp.commands.elmo import ElmoEmbedder
options_file = "/files/elmo_2x4096_512_2048cnn_2xhighway_options.json"
weight_file = "/files/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5"elmo = ElmoEmbedder(options_file, weight_file)# use batch_to_ids to convert sentences to character ids
context_tokens = [['I', 'love', 'you', '.'], ['Sorry', ',', 'I', 'don', "'t", 'love', 'you', '.']] #references
elmo_embedding, elmo_mask = elmo.batch_to_embeddings(context_tokens)print(elmo_embedding)
print(elmo_mask)

因为环境问题，机子一直无法装上allennlp包，流程大概如上。

ELMo模型的理解与实践（2）相关推荐

独家 | NLP详细教程：手把手教你用ELMo模型提取文本特征（附代码论文）
作者:PRATEEK JOSHI 翻译:韩国钧校对:李浩本文约3500字,建议阅读15分钟. 本文将介绍ELMo的原理和它与传统词嵌入的区别,然后通过实践来展示其效果. 简介我致力于研究自然 ...
广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践（附数据 + 代码）
CTR 系列文章: 广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践(附数据 + 代码) CTR经典模型串讲:FM / FFM / 双线性 FFM 相关推导与理解 CTR深度学习模型之 ...
旷视张祥雨：高效轻量级深度模型的研究和实践 | AI ProCon 2019
演讲嘉宾 | 张祥雨(旷视研究院主任研究员.基础模型组负责人) 编辑 | Just 出品 | AI科技大本营(ID:rgznai100) 基础模型是现代视觉识别系统中一个至关重要的关注点.基础模型的优 ...
【万字干获】阿里妈妈搜索推荐广告预估模型2021思考与实践
省时查报告-专业.及时.全面的行研报告库省时查方案-专业.及时.全面的营销策划方案库知识图谱在美团推荐场景中的应用实践搜索场景下的智能实体推荐机器学习在B站推荐系统中的应用实践小红书推荐系统 ...
开发模型的理解：瀑布模型/增量式/迭代/敏捷开发——笔记
首先,不管采用何种开发模型.软件开发都至少具有以下的周期,包括: 需求获取/分析(系统分析.软件分析) 设计实现测试发布(运行) 维护正在上传-重新上传取消既然所有的开发模型都具有相同的开发 ...
《基于模型的系统工程最佳实践》- 读书笔记（一）
总结构: 第一章至第二章:<基于模型的系统工程最佳实践>- 读书笔记(一) 第三章相关笔记:Rhapsody项目结构第四章:<基于模型的系 ...
SOTA模型飞入寻常百姓家-BEiT模型在AIStudio动手实践
转自AI Studio,原文链接:SOTA模型飞入寻常百姓家-BEiT模型在AIStudio动手实践 - 飞桨AI Studio 一.缘起众所周知Transformer模型精度高,但是训 ...
【深度学习】RoBERTa模型详解和实践
RoBERTa模型详解和实践 Robustly optimized BERT approach. 内容介绍: RoBERTa改进思路和原文详解 bert4keras工具使用基于RoBERTa的202 ...
案例挑战——MVVM框架理解和实践
MVVM框架理解和实践一.背景介绍二. 什么是MVVM架构? 1.架构示意图 2.MVVM概念总结 3.实现VM的框架三.通过案例来理解MVVM框架 1.没有使用MVVM架构的程序 2.使用了M ...

ELMo模型的理解与实践（2）

ELMo模型的理解与实践（2）相关推荐

最新文章

热门文章