问题1：CUDA_ERROR_OUT_OF_MEMORY: How to activate multiple GPUs from Keras in Tensorflow

import keras.backend as Kconfig = K.tf.ConfigProto()
config.gpu_options.allow_growth = True
session = K.tf.Session(config=config)

讀作者的code就能了解數據的格式了。
在process_data.py檔案裡。

稍微解釋一下。

###原始數據###
老 B-PER
王 I-PER
很 O
喜 O
歡 O
中 B-LOC
國 I-LOC
妹 O
子 O

###要丟進LSTM的數據###
X_train應該是長這樣[0, 1, 15, 24, 65, 102, 103, 54, 63]之類的，這裡代表每個字的index。
y_train應該是長這樣 [1, 2, 0, 0, 0, 3, 4, 0, 0]之類的，代表對應到的字的NE。
最後再把每個句子做個padding就能丟進LSTM了。

至於怎麼轉換成數據序列的，就請您自行研究研究process_data.py唄！

 配置显存https://www.jianshu.com/p/99fca5b7fd8a

==================================使用预训练词向量=================================

Keras 模型中使用预训练的词向量

Word2vec，为一群用来产生词嵌入的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系。该向量为神经网络之隐藏层。
https://zh.wikipedia.org/wiki/Word2vec

在这篇 在Keras模型中使用预训练的词向量 讲述了如何利用预先训练好的 GloVe 模型，本文基本大同小异。只写一些不同的地方，更想的可以看这篇文章。

总体思路就是给 Embedding 层提供一个 [ word_token : word_vector] 的词典来初始化向量，并且标记为不可训练。

解析 word2vec 模型，其中：

• word2idx 保存词语和 token 的对应关系，语料库 tokenize 时候需要。
• embeddings_matrix 存储所有 word2vec 中所有向量的数组，用于初始化模型 Embedding 层

12345678910111213141516

import numpy as npfrom gensim.models import Word2Vecmodel = Word2Vec.load(model_path)word2idx = {"_PAD": 0} # 初始化 `[word : token]` 字典，后期 tokenize 语料库就是用该词典。vocab_list = [(k, model.wv[k]) for k, v in model.wv.vocab.items()]# 存储所有 word2vec 中所有向量的数组，留意其中多一位，词向量全为 0， 用于 paddingembeddings_matrix = np.zeros((len(model.wv.vocab.items()) + 1, model.vector_size))for i in range(len(vocab_list)):word = vocab_list[i][0]word2idx[word] = i + 1embeddings_matrix[i + 1] = vocab_list[i][1]

使用方法：

12345678

from keras.layers import EmbeddingEMBEDDING_DIM = 100 #词向量维度embedding_layer = Embedding(len(embeddings_matrix),EMBEDDING_DIM,weights=[embeddings_matrix]trainable=False)