【3】Keras.applications包，一堆可以复用的深度学习模型库

Applications包里有很多深度学习经典模型，且有预训练好的权重。

这些模型可以轻松用于：

预测
特征提取
微调

这些预训练权重会在实例化模型时自动下载，且放置在~/.keras/models文件夹下。

对于图像识别任务，有下面这些模型可用：

Xception
VGG16
VGG19
ResNet50
InceptionV3
InceptionResNetV2
MobileNet
DenseNet
NASNet
MobileNetV2

Keras相当于前端，后端会用Tensorflow，PyTorch等运行，配置Keras的文件是~/.keras/keras.json，示例内容如下：

{"floatx": "float32","epsilon": 1e-07,"backend": "tensorflow","image_data_format": "channels_last"
}

上面这个文件里有个参数image_data_format表示图片格式，指定为通道最后时，图片格式就是Height-Width-Depth这样的顺序。

第一个示例：使用ResNet50识别大象

from keras.applications.resnet50 import ResNet50
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input, decode_predictions
import numpy as npmodel = ResNet50(weights='imagenet')img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)preds = model.predict(x)
# decode the results into a list of tuples (class, description, probability)
# (one such list for each sample in the batch)
print('Predicted:', decode_predictions(preds, top=3)[0])# Predicted: [('n02504458', 'African_elephant', 0.72483104), ('n01871265', 'tusker', 0.24834009), ('n02504013', 'Indian_elephant', 0.024910495)]

第二个示例：使用VGG16提取特征

# VGG16提取特征
from keras.applications.vgg16 import VGG16
from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_inputimport numpy as np

对比两个例子，可以看到Keras的模型使用方法是有套路的。
首先从keras.applications.modelName导入模型名，比如VGG16，接着导入预处理包，这些任务主要针对的是图片，所以导入的是image，然后要对输入进行预处理，不同的模型需要的预处理不同，从keras.applications.modelName导入preprocess_input即可。

另外，numpy是必不可少的东西。

现在我们可以实例化模型并利用模型进行数据的提取了：

model = VGG16(weights='imagenet', include_top=False) # 此时会去下载权重# 对数据进行处理
img = image.load_img(image_path, target_size=(224,224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)features = model.predict(x)
print(features)

打印时可以看出提取出来的是数组形式的特征，对比两个案例，可以看出，一个用了ResNet50，一个用了VGG16，前者直接输出预测结果，后者只是输出特征。

区别在哪里呢？

其实就一行，在实例化模型的时候，有没有include_top=False。

默认情况下，这个值为True，就是可以得到的结果解析出来就是我们的目的值。现在详细说一下。

Keras提供的这些模型，都是CNN模型，一系列的卷积层 + 一层或多层全连接层，include_top这个参数可以控制的是，到底要不要最后的这些全连接层。注意，如果是False则最后的全部全连接层都不要。

只要这样，才能把这些模型当做特征提取器来用。模型的两大组成部分，分别有如下的功能：

卷积层：用于特征提取，从图片中识别出各种模式
全连接层：用于解释这些卷积层发现的模式，比如输出类别

关于权重，卷积层的权重是固定的，等于卷积核大小x卷积核个数，与输入无关。

而全连接层则与输入有关，一个输入元素对应一个权重。

如何得到指定层的输出

from keras.models import Modelmodel = ...  # 初始模型
layer_name = 'my_layer' # 给定待输出的层的名字
intermediate_layer_model = Model(inputs=model.input,outputs=model.get_layer(layer_name).output)
intermediate_output = intermediate_layer_model.predict(data)

或者构建一个函数，用于输出指定层的输出：

from keras import backend as K
# with a Sequential model
get_3rd_layer_output = K.function([model.layers[0].input],[model.layers[3].output])
layer_output = get_3rd_layer_output([x])[0]

所以下面这个例子，提取任意的中间层的特征，用的也是上面这个方法：

from keras.applications.vgg19 import VGG19
from keras.preprocessing import image
from keras.applications.vgg19 import preprocess_input
from keras.models import Model
import numpy as npbase_model = VGG19(weights='imagenet')
model = Model(inputs=base_model.input, outputs=base_model.get_layer('block4_pool').output)img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)block4_pool_features = model.predict(x)

这里的任意层用的是名为block4_pool的层。

其实这个没有什么特殊的，对图片进行特征提取，输入的是图片，现在对任意层的输出进行特征提取，从张量的角度看并无不同。

END.