深度神经网络中Inception-ResNet模块介绍

之前在https://blog.csdn.net/fengbingchun/article/details/113482036 介绍了Inception，在https://blog.csdn.net/fengbingchun/article/details/114167581 介绍了ResNet，这里介绍下深度神经网络中的Inception-ResNet模块。

介绍Inception-ResNet的论文名为：《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》，论文：https://arxiv.org/pdf/1602.07261.pdf

Inception-ResNet系列主要有Inception-ResNet-v1和Inception-ResNet-v2。

每个Inception模块的输出执行Concat操作，而ResNet的每个残差块的输出执行Eltwise操作。

残差连接(residual connection)能够显著加速Inception网络的训练。Inception-ResNet-v1的计算量与Inception-v3大致相同，Inception-ResNet-v2的计算量与Inception-v4大致相同。

下图是Inception-ResNet架构图，来自于论文截图：Steam模块为深度神经网络在执行到Inception模块之前执行的最初一组操作，在Inception-ResNet-v1中Steam模块的最终输出为35*35*256，在Inception-ResNet-v2中Steam模块的最终输出为35*35*384。

上图中Inception-ResNet-v1和Inception-ResNet-v2各模块详细结构如下所示：为了便于v1和v2相同模块作对比，这里将两类型相同模块放在了一起，其中左图为Inception-ResNet-v1，右图为Inception-ResNet-v2。下图中所有未标有”V”的卷积都用相同的填充(same-padded)，表示它们的输出尺寸与输入尺寸正好匹配。标有”V”的卷积采用valid padded，即不填充，padding=0。

Stem模块结构，论文截图如下所示：

Inception-resnet-A模块结构，论文截图如下所示：

Reduction-A模块结构，论文截图如下所示：Inception-ResNet-v1与Inception-ResNet-v2相同

Inception-resnet-B模块结构，论文截图如下所示：

Reduction-B模块结构，论文截图如下所示：

Inception-resnet-C模块结构，论文截图如下所示：

GitHub：https://github.com/fengbingchun/NN_Test

深度神经网络中Inception-ResNet模块介绍相关推荐

深度神经网络中的Batch Normalization介绍及实现
之前在经典网络DenseNet介绍_fengbingchun的博客-CSDN博客_densenet中介绍DenseNet时,网络中会有BN层,即Batch Normalization,在每个Dense ...
2020-12-09 深度学习卷积神经网络中感受野的详细介绍
卷积神经网络中感受野的详细介绍 1. 感受野的概念在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射 ...
深度神经网络中的局部响应归一化LRN简介及实现
Alex.Hinton等人在2012年的NIPS论文<ImageNet Classification with Deep Convolutional Neural Networks>中将L ...
PNAS | 理解单个神经元在深度神经网络中的作用
本次报道论文为发表于PNAS的Understanding the role of individual units in a deep neural network.众所周知,深度神经网络擅长查找可解 ...
OpenCv-C++-深度神经网络（DNN）模块-使用SSD模型实现对象检测
首先我们要搞明白图像分类和对象检测的区别: 1.图像分类: 图像分类就是将这幅图像归为某一类,图像中的对象尽量要单一. 2.对象检测: 对象检测就是将不同的对象用框圈出来并规定为某一类,对象可以多个. ...
深度神经网络中处理数据和训练模型的一些技巧
深度神经网络中处理数据和训练模型的一些技巧 1 数据预处理 1.1 中心化 1.2 标准化 1.3 PCA 1.4 白噪声 1.5 小结 2 权重初始化 2.1 全0初始化 2.2 随机初始化 2.3 ...
【机器学习算法面试题】四.深度神经网络中激活函数有哪些？
欢迎订阅本专栏:<机器学习算法面试题> 订阅地址:https://blog.csdn.net/m0_38068876/category_11810806.html [机器学习算法面试题]一 ...
深度神经网络中的Inception模块介绍
深度神经网络(Deep Neural Networks, DNN)或深度卷积网络中的Inception模块是由Google的Christian Szegedy等人提出,包括Inception-v1.I ...
在深度神经网络中你有多吸引人？
几个月前,华南大学发表了一篇关于"面部美容预测"的论文和数据集. 你可以在这里找到它. 数据集包括5500人,他们的得分有1到5分的吸引力. 这里有一些来自论文的例子: 还有一些着 ...

深度神经网络中Inception-ResNet模块介绍

深度神经网络中Inception-ResNet模块介绍相关推荐

最新文章

热门文章