使用keras创建自己的图像标题生成器
【翻译自 ： create-your-own-image-caption-generator-using-keras】
【说明：analyticsvidhya这里的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】
总览
了解图像字幕生成器如何使用编码器-解码器工作
知道如何使用Keras创建自己的图像标题生成器
介绍
图像标题生成器是人工智能的热门研究领域，涉及图像理解和该图像的语言描述。生成格式正确的句子需要对语言的句法和语义理解。能够使用准确形成的句子描述图像的内容是一项非常具有挑战性的任务，但是通过帮助视障人士更好地理解图像的内容，它也会产生巨大的影响。
与已进行充分研究的图像分类或对象识别任务相比，此任务要困难得多。
最大的挑战是绝对能够创建一个描述，该描述不仅必须捕获图像中包含的对象，而且还必须表达这些对象之间的相互关系。
考虑以下来自Flickr8k数据集的图像：
您在上图中看到了什么？
您可以轻松地说出“雪中的黑狗和棕狗”或“雪中的小狗玩耍”或“雪中的两只波美拉尼亚狗”。 作为人类，对于我们来说看这样的图像并适当地描述它似乎很容易。
让我们看看如何从头开始创建图片说明生成器，该生成器可以为上述图片以及更多图片提供有意义的描述！
开始之前的先决条件：-
Python编程
Keras及其模块
卷积神经网络及其实现
RNN和LSTM
转移学习目录
1、问题陈述的处理
2、了解数据集
3、在Keras中实现图像字幕生成器
1、数据加载和预处理
2、手套嵌入
3、建筑模型
4、模型训练
5、贪婪和光束搜索
6、评价
4、下一步是什么？
问题陈述的处理
我们将使用编码器-解码器模型解决此问题。 在这里，我们的编码器模型将图像的编码形式和文本标题的编码形式结合在一起，并馈送到解码器。我们的模型会将CNN视为“图像模型”，将RNN / LSTM视为“语言模型”，以对不同长度的文本序列进行编码。 然后，将两种编码所产生的向量合并并由密集层进行处理，以进行最终预测。我们将创建一个合并体系结构，以使图像不属于RNN / LSTM，从而能够使用来自单独训练集中的图像和语句来训练处理图像的神经网络部分和分别处理语言的部分。
在我们的合并模型中，可以在每次预测之前将图像的不同表示形式与最终RNN状态进行组合。
将图像特征与文本编码合并到体系结构中的下一个阶段是有利的，并且与传统注入体系结构（CNN作为编码器和RNN作为解码器）相比，可以用较小的层生成更好的字幕。
为了对图像特征进行编码，我们将使用转移学习。我们可以使用很多模型，例如VGG-16，InceptionV3，ResNet等。我们将使用inceptionV3模型，该模型具有比其他参数最少的训练参数，并且性能也比其他参数好。为了对文本序列进行编码，我们将每个单词映射到200维向量。为此，将使用预训练的手套模型。此映射将在称为嵌入层的输入层之后的单独层中完成。为了生成字幕，我们将使用两种流行的方法，即“贪婪搜索”和“波束搜索”。这些方法将帮助我们选择最佳单词来准确定义图像。我希望这使您对我们如何处理此问题陈述有所了解。
让我们深入研究图像标题生成器的实现和创建！
了解数据集
许多数据集用于图像字幕方法的训练，测试和评估。数据集在各种角度上都不同，例如图像数量，每个图像的字幕数量，字幕格式和图像大小。三个数据集：Flickr8k，Flickr30k和MS COCO数据集被广泛使用。在Flickr8k数据集中，每个图像都与五个不同的标题相关联，这些标题描述了图像中所描述的实体和事件。通过将每个图像与多个独立产生的句子相关联，数据集捕获了一些可用于描述同一图像的语言多样性。
Flickr8k体积小巧，可以使用CPU在低端笔记本电脑/台式机上轻松进行培训，因此是一个很好的入门数据集。我们的数据集结构如下：
让我们来构建图片说明生成器！
步骤1：-导入所需的库
在这里，我们将利用Keras库创建模型并进行训练。 如果您想要GPU进行训练，则可以使用Google Colab或Kaggle笔记本
import numpy as np
from numpy import array
import matplotlib.pyplot as plt
%matplotlib inlineimport string
import os
import glob
from PIL import Image
from time import timefrom keras import Input, layers
from keras import optimizers
from keras.optimizers import Adam
from keras.preprocessing import sequence
from keras.preprocessing import image
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
from keras.layers import LSTM, Embedding, Dense, Activation, Flatten, Reshape, Dropout
from keras.layers.wrappers import Bidirectional
from keras.layers.merge import add
from keras.applications.inception_v3 import InceptionV3
from keras.applications.inception_v3 import preprocess_input
from keras.models import Model
from keras.utils import to_categorical步骤2：-数据加载和预处理
我们将定义所需文件的所有路径，并保存图像id及其标题。
token_path = "../input/flickr8k/Data/Flickr8k_text/Flickr8k.token.txt"
train_images_path = '../input/flickr8k/Data/Flickr8k_text/Flickr_8k.trainImages.txt'
test_images_path = '../input/flickr8k/Data/Flickr8k_text/Flickr_8k.testImages.txt'
images_path = '../input/flickr8k/Data/Flicker8k_Dataset/'
glove_path = '../input/glove6b'doc = open(token_path,'r').read()
print(doc[:410])输出如下：
因此，我们可以看到存储图片ID及其标题的格式。接下来，我们创建一个名为“ descriptions”的字典，其中包含图像的名称作为键，并包含对应图像的5个标题的列表作为值。
descriptions = dict()
for line in doc.split('\n'):tokens = line.split()if len(line) > 2:image_id = tokens[0].split('.')[0]image_desc = ' '.join(tokens[1:])if image_id not in descriptions:descriptions[image_id] = list()descriptions[image_id].append(image_desc)现在，让我们执行一些基本的文本清除操作以消除标点符号，并将我们的描述转换为小写。
table = str.maketrans('', '', string.punctuation)
for key, desc_list in descriptions.items():for i in range(len(desc_list)):desc = desc_list[i]desc = desc.split()desc = [word.lower() for word in desc]desc = [w.translate(table) for w in desc]desc_list[i] = ' '.join(desc)让我们可视化示例图片及其标题：-
pic = '1000268201_693b08cb0e.jpg'
x=plt.imread(images_path+pic)
plt.imshow(x)
plt.show()
descriptions['1000268201_693b08cb0e']输出如下：
接下来，我们创建数据集中所有8000 * 5（即40000）图像标题中存在的所有唯一单词的词汇表。 我们在所有40000个图像标题中都有8828个唯一的单词。
vocabulary = set()
for key in descriptions.keys():[vocabulary.update(d.split()) for d in descriptions[key]]
print('Original Vocabulary Size: %d' % len(vocabulary))输出如下：
现在，以与token.txt文件相同的格式保存图像ID及其新清除的标题：
lines = list()
for key, desc_list in descriptions.items():for desc in desc_list:lines.append(key + ' ' + desc)
new_descriptions = '\n'.join(lines)接下来，我们从“ Flickr_8k.trainImages.txt”文件的可变火车中加载所有6000个训练图像ID：
doc = open(train_images_path,'r').read()
dataset = list()
for line in doc.split('\n'):if len(line) > 1:identifier = line.split('.')[0]dataset.append(identifier)train = set(dataset)现在，我们将所有训练和测试图像分别保存在train_img和test_img列表中：
img = glob.glob(images_path + '*.jpg')
train_images = set(open(train_images_path, 'r').read().strip().split('\n'))
train_img = []
for i in img: if i[len(images_path):] in train_images:train_img.append(i)test_images = set(open(test_images_path, 'r').read().strip().split('\n'))
test_img = []
for i in img: if i[len(images_path):] in test_images: test_img.append(i)现在，我们将训练图像的描述加载到字典中。 但是，我们将在每个标题中添加两个标记，分别是“ startseq”和“ endseq”：
train_descriptions = dict()
for line in new_descriptions.split('\n'):tokens = line.split()image_id, image_desc = tokens[0], tokens[1:]if image_id in train:if image_id not in train_descriptions:train_descriptions[image_id] = list()desc = 'startseq ' + ' '.join(image_desc) + ' endseq'train_descriptions[image_id].append(desc)创建所有训练标题的列表：
all_train_captions = []
for key, val in train_descriptions.items():for cap in val:all_train_captions.append(cap)为了使我们的模型更加健壮，我们将词汇量减少到仅在整个语料库中出现至少10次的单词。
word_count_threshold = 10
word_counts = {}
nsents = 0
for sent in all_train_captions:nsents += 1for w in sent.split(' '):word_counts[w] = word_counts.get(w, 0) + 1
vocab = [w for w in word_counts if word_counts[w] >= word_count_threshold]print('Vocabulary = %d' % (len(vocab)))输出如下：
现在，我们创建两个字典以将单词映射到索引，反之亦然。 另外，我们在词汇表后面加上1，因为我们在后面加上0以使所有字幕的长度相等。
ixtoword = {}
wordtoix = {}
ix = 1
for w in vocab:wordtoix[w] = ixixtoword[ix] = wix += 1vocab_size = len(ixtoword) + 1因此，现在我们的总词汇量为1660。
我们还需要找出字幕的最大长度，因为我们不能有任意长度的字幕。
all_desc = list()
for key in train_descriptions.keys():[all_desc.append(d) for d in train_descriptions[key]]
lines = all_desc
max_length = max(len(d.split()) for d in lines)print('Description Length: %d' % max_length)输出如下：
步骤3：-Glove嵌入
词向量将词映射到向量空间，在这里类似的词被聚在一起，而不同的词则被分离。 与Word2Vec相比，使用Glove的优势在于GloVe不仅依赖于单词的局部上下文，还合并了全局单词共现以获得单词向量。
Glove背后的基本前提是我们可以从同现矩阵中得出单词之间的语义关系。 对于我们的模型，我们将使用Glove将38字长标题中的所有字映射到200维向量。
embeddings_index = {}
f = open(os.path.join(glove_path, 'glove.6B.200d.txt'), encoding="utf-8")
for line in f:values = line.split()word = values[0]coefs = np.asarray(values[1:], dtype='float32')embeddings_index[word] = coefs接下来，我们制作形状矩阵（1660,200），该矩阵由我们的词汇表和200维向量组成。
embedding_dim = 200
embedding_matrix = np.zeros((vocab_size, embedding_dim))
for word, i in wordtoix.items():embedding_vector = embeddings_index.get(word)if embedding_vector is not None:embedding_matrix[i] = embedding_vector步骤4：-模型建立与培训
正如您从我们的方法中看到的那样，我们选择了使用InceptionV3网络进行转移学习，该网络在ImageNet数据集上进行了预训练。
model = InceptionV3(weights='imagenet')我们必须记住，这里不需要分类图像，只需要为图像提取图像矢量即可。 因此，我们从inceptionV3模型中删除了softmax层。
model_new = Model(model.input, model.layers[-2].output)由于我们使用的是InceptionV3，因此我们需要对输入进行预处理，然后再将其输入模型。 因此，我们定义了一个预处理函数以将图像重塑为（299 x 299）并馈入Keras的preprocess_input（）函数。
def preprocess(image_path):img = image.load_img(image_path, target_size=(299, 299))x = image.img_to_array(img)x = np.expand_dims(x, axis=0)x = preprocess_input(x)return x现在我们可以继续对训练和测试图像进行编码，即提取形状为（2048，）的图像矢量
def encode(image):image = preprocess(image) fea_vec = model_new.predict(image) fea_vec = np.reshape(fea_vec, fea_vec.shape[1])return fea_vecencoding_train = {}
for img in train_img:encoding_train[img[len(images_path):]] = encode(img)
train_features = encoding_trainencoding_test = {}
for img in test_img:encoding_test[img[len(images_path):]] = encode(img)现在定义模型。
我们正在创建一个合并模型，其中我们将图像矢量和部分标题结合在一起。 因此，我们的模型将包含3个主要步骤：
处理文本中的序列
从图像中提取特征向量
通过连接以上两层，使用softmax解码输出inputs1 = Input(shape=(2048,))
fe1 = Dropout(0.5)(inputs1)
fe2 = Dense(256, activation='relu')(fe1)inputs2 = Input(shape=(max_length,))
se1 = Embedding(vocab_size, embedding_dim, mask_zero=True)(inputs2)
se2 = Dropout(0.5)(se1)
se3 = LSTM(256)(se2)decoder1 = add([fe2, se3])
decoder2 = Dense(256, activation='relu')(decoder1)
outputs = Dense(vocab_size, activation='softmax')(decoder2)model = Model(inputs=[inputs1, inputs2], outputs=outputs)
model.summary()输出如下：
Input_3是输入到嵌入层的最大长度为34的部分标题。 这是单词映射到200-d手套嵌入的地方。 紧随其后的是0.5的落差，以避免过度拟合。 然后将其输入LSTM中以处理序列。
Input_2是我们的InceptionV3网络提取的图像矢量。 紧随其后的是0.5的落差，以避免过度拟合，然后将其馈入“全连接”层。
然后，通过添加图像模型和语言模型将其连接起来，并馈入另一个“完全连接”层。 该层是softmax层，可为我们的1660个单词词汇提供概率。
步骤5：-模型训练
在训练模型之前，我们需要记住，我们不想在嵌入层（预训练的Glove向量）中重新训练权重。
model.layers[2].set_weights([embedding_matrix])
model.layers[2].trainable = False接下来，使用Categorical_Crossentropy作为Loss函数并使用Adam作为优化器来编译模型。
model.compile(loss='categorical_crossentropy', optimizer='adam')由于我们的数据集有6000张图像和40000个标题，我们将创建一个可以批量训练数据的函数。
def data_generator(descriptions, photos, wordtoix, max_length, num_photos_per_batch):X1, X2, y = list(), list(), list()n=0# loop for ever over imageswhile 1:for key, desc_list in descriptions.items():n+=1# retrieve the photo featurephoto = photos[key+'.jpg']for desc in desc_list:# encode the sequenceseq = [wordtoix[word] for word in desc.split(' ') if word in wordtoix]# split one sequence into multiple X, y pairsfor i in range(1, len(seq)):# split into input and output pairin_seq, out_seq = seq[:i], seq[i]# pad input sequencein_seq = pad_sequences([in_seq], maxlen=max_length)[0]# encode output sequenceout_seq = to_categorical([out_seq], num_classes=vocab_size)[0]# storeX1.append(photo)X2.append(in_seq)y.append(out_seq)if n==num_photos_per_batch:yield ([array(X1), array(X2)], array(y))X1, X2, y = list(), list(), list()n=0接下来，让我们训练30个时期的模型，批处理大小为3，每个时期2000步。 在Kaggle GPU上，模型的完整训练耗时1小时40分钟。
epochs = 30
batch_size = 3
steps = len(train_descriptions)//batch_sizegenerator = data_generator(train_descriptions, train_features, wordtoix, max_length, batch_size)
model.fit(generator, epochs=epochs, steps_per_epoch=steps, verbose=1)步骤6：-贪心搜索
当模型生成一个1660长的矢量时，该矢量在词汇表中所有单词的概率分布上，我们会贪婪地选择具有最高概率的单词以进行下一个单词预测。 此方法称为贪心搜索。
def greedySearch(photo):in_text = 'startseq'for i in range(max_length):sequence = [wordtoix[w] for w in in_text.split() if w in wordtoix]sequence = pad_sequences([sequence], maxlen=max_length)yhat = model.predict([photo,sequence], verbose=0)yhat = np.argmax(yhat)word = ixtoword[yhat]in_text += ' ' + wordif word == 'endseq':breakfinal = in_text.split()final = final[1:-1]final = ' '.join(final)return finalBeam Search是我们获取前k个预测的地方，将其再次输入模型中，然后使用模型返回的概率对其进行排序。 因此，列表将始终包含前k个预测，并且我们选择概率最高的预测，直到遇到“ endseq”或达到最大字幕长度为止。
def beam_search_predictions(image, beam_index = 3):start = [wordtoix["startseq"]]start_word = [[start, 0.0]]while len(start_word[0][0]) < max_length:temp = []for s in start_word:par_caps = sequence.pad_sequences([s[0]], maxlen=max_length, padding='post')preds = model.predict([image,par_caps], verbose=0)word_preds = np.argsort(preds[0])[-beam_index:]# Getting the top <beam_index>(n) predictions and creating a # new list so as to put them via the model againfor w in word_preds:next_cap, prob = s[0][:], s[1]next_cap.append(w)prob += preds[0][w]temp.append([next_cap, prob])start_word = temp# Sorting according to the probabilitiesstart_word = sorted(start_word, reverse=False, key=lambda l: l[1])# Getting the top wordsstart_word = start_word[-beam_index:]start_word = start_word[-1][0]intermediate_caption = [ixtoword[i] for i in start_word]final_caption = []for i in intermediate_caption:if i != 'endseq':final_caption.append(i)else:breakfinal_caption = ' '.join(final_caption[1:])return final_caption步骤7：-评估
现在，我们在不同的图像上测试模型，并查看其生成的字幕。 我们还将研究由贪婪搜索和Beam搜索生成的具有不同k值的不同字幕。
首先，我们将看一下本文开头看到的示例图像。 我们看到图片的标题是“雪中的黑狗和棕狗”。 让我们看看我们的模型如何比较。
pic = '2398605966_1d0c9e6a20.jpg'
image = encoding_test[pic].reshape((1,2048))
x=plt.imread(images_path+pic)
plt.imshow(x)
plt.show()print("Greedy Search:",greedySearch(image))
print("Beam Search, K = 3:",beam_search_predictions(image, beam_index = 3))
print("Beam Search, K = 5:",beam_search_predictions(image, beam_index = 5))
print("Beam Search, K = 7:",beam_search_predictions(image, beam_index = 7))
print("Beam Search, K = 10:",beam_search_predictions(image, beam_index = 10))
您可以看到我们的模型能够识别出雪中的两只狗。 但与此同时，它把黑狗误分类为白狗。 然而，它能够构成一个恰当的句子来像人类一样描述图像。
我们再来看一些示例：
pic = list(encoding_test.keys())[1]
image = encoding_test[pic].reshape((1,2048))
x=plt.imread(images_path+pic)
plt.imshow(x)
plt.show()print("Greedy:",greedySearch(image))
print("Beam Search, K = 3:",beam_search_predictions(image, beam_index = 3))
print("Beam Search, K = 5:",beam_search_predictions(image, beam_index = 5))
print("Beam Search, K = 7:",beam_search_predictions(image, beam_index = 7))
在这里我们可以看到我们准确地描述了图像中发生的事情。 您还将注意到使用Beam Search生成的字幕要比Greedy Search更好。
我们还来看看由我们的模型生成的错误标题：
我们可以看到，该模型在光束搜索中显然对图像中的人数进行了错误分类，但是我们的贪婪搜索能够识别出该人。
瞧！ 我们已经成功创建了自己的图像标题生成器！
下一步是什么？
我们今天开发的仅仅是开始。 关于此主题的研究很多，您可以制作出更好的图像标题生成器。
您可以实施以改善模型的事情：-
利用较大的数据集，尤其是MS COCO数据集或比MS COCO大26倍的Stock3M数据集。
利用评估指标来衡量机器生成的文本的质量，例如BLEU（双语评估研究）。
实现基于注意力的模型：基于注意力的机制在深度学习中正变得越来越流行，因为它们可以在生成输出序列时动态地专注于输入图像的各个部分。
基于图像的事实描述不足以生成高质量的字幕。 我们可以添加外部知识以生成有吸引力的图像标题。 因此，处理开放域数据集可能是一个有趣的前景。尾注
恭喜你！ 您已经学习了如何从头开始制作图像字幕生成器。 在这样做的同时，您还学习了如何将计算机视觉和自然语言处理领域整合在一起，并实现了一种类似于Beam Search的方法，该方法能够生成比标准更好的描述。
从使用的数据集到实施的方法论，还有很多地方可以改进。 确保尝试一些建议，以改善发电机的性能，并与我分享您的结果！
您觉得这篇文章对您有帮助吗？ 请在下面的评论部分中分享您的宝贵反馈。 随时分享您完整的代码笔记本，这将对我们的社区成员有所帮助。
使用keras创建自己的图像标题生成器相关推荐
- 用 Keras 创建自己的图像标题生成器
总览 了解图像字幕生成器如何使用编码器-解码器工作 知道如何使用Keras创建自己的图像标题生成器 介绍 图像标题生成器是人工智能的热门研究领域,涉及图像理解和该图像的语言描述.生成格式正确的句子需要 ...
- 在Tensorflow中使用深度学习构建图像标题生成器
by Cole Murray 通过科尔·默里(Cole Murray) 在Tensorflow中使用深度学习构建图像标题生成器 (Building an image caption generator ...
- 在Jupyter Notebook中调用ML模型服务图像标题生成器
说明:写本文的目的主要是验证如何在Jupyter Notebook中通过API调用机器学习模型服务. 1.环境说明 CentOS7(部署在VMware Workstation Pro中的虚拟机) 需要 ...
- 30分钟 Keras 创建一个图像分类器
深度学习是使用人工神经网络进行机器学习的一个子集,目前已经被证明在图像分类方面非常强大.尽管这些算法的内部工作在数学上是严格的,但 Python 库(比如 keras)使这些问题对我们所有人都可以接近 ...
- python词云改颜色_使用Python创建一个与图像颜色匹配的词云
原标题:使用Python创建一个与图像颜色匹配的词云 来自:https://www.linuxmi.com/ 我用Python造了一个词云.不过这次创建的是与图像颜色匹配的词云. 使用Python w ...
- 基于Jupyter Notebook---卷积神经网络的图像分类（keras对猫狗图像数据集进行分类）
keras对猫狗图像数据集进行分类 一.安装Keras 二.keras对猫狗图像数据集进行分类 三.全部代码 四.结果显示 一.安装Keras 在windows下,首先添加中科大源 命令行中直接使用以 ...
- Keras: 创建多个输入以及混合数据输入的神经网络模型
目录 摘要 正文 Keras: 创建多个输入以及混合数据输入的神经网络模型 什么是混合数据? Keras如何接受多个输入? 房价数据集 获取房价数据集 项目结构 加载数值和分类数据 加载图像数据集 定 ...
- 图像分割 更好的细分_为博客文章创建更好图像的16种工具
图像分割 更好的细分 Do you want to create better images for your blog posts? Images create a huge impact on h ...
- 从图像到语言:图像标题生成与描述
从图像到语言:图像标题生成与描述 大家好,我是苏州程序大白,五一假都过去三天了.大家可以学习起来.今天我们讲讲图像到语言.欢迎大家一起讨论.还有请大家多多支持.关注我.谢谢!!! 1.图像简单标题生成 ...
- R语言plot函数可视化、ggplot2可视化把图像标题（title）的部分内容着色实战：标题的部分内容配置不同的色彩、副标题（subtitle）的内容配置不同的色彩
R语言plot函数可视化.ggplot2可视化把图像标题(title)的部分内容着色实战:标题的部分内容配置不同的色彩.副标题(subtitle)的内容配置不同的色彩 目录
最新文章
- 美团二面：Redis与MySQL双写一致性如何保证？
- [不屈的复习] - 编辑工具IDE选取与Hello World
- Python调用微博API获取微博内容
- 终止运行线程的注意事项
- matlab建模总结,数学建模方法自己归纳总结（建模参考用，包含相应例题以及MATLAB...
- 数学建模案例【人口模型 】（马尔萨斯人口模型，Logistic模型）
- wps页眉怎么设置不同页码_如何设置 页眉页脚和页码
- 126邮箱自动登录程序
- 【Chapter 1】架构的结构
- 生成彩色二维码（渐变色、插入图片和文字）
- 常成员函数函数和返回值为常量的函数
- Zigbee网络模型
- Git私服客户端免密码登录
- Transform 3.1：SPSS 的通用数据转换程序
- python股票量化交易（8）---K线图：锤头，射击之星，早晨之星
- 区域工业互联网市场成绩单，百度智能云开物第二
- ARCGIS怎么在地图上绘制长宽500m*500m的fishnet
- Jetson Nano - 自己动手搭建Jetbot环境
- 【进制】计算机底层是如何计算2+3的？
- 河南省专利申请费用一览表，郑州专利申请的费用