深度学习之Bottleneck Layer or Bottleneck Features

在深度学习中经常听闻Bottleneck Layer 或 Bottleneck Features ，亦或 Bottleneck Block，其虽然容易理解，其意思就是输入输出维度差距较大，就像一个瓶颈一样，上窄下宽亦或上宽下窄，然而其正儿八经的官方出处没有一个能说出其所以然来，下面本文将对Bottleneck Layer 或 Bottleneck Features ，亦或 Bottleneck Block追根溯源，使之对Bottleneck Layer 或 Bottleneck Features ，亦或 Bottleneck Block有一个全面的认识。

首先来看一篇关于深度神经网络的有效处理的综述文章对Bottleneck Building Block的表述："In order to reduce the number of weights, 1x1 filters are applied as a "bottleneck" to reduce the number of channels for each filter",在这句话中，1x1 filters 最初的出处即"Network In Network"，1x1 filters 可以起到一个改变输出维数（channels）的作用（elevation or dimensionality reduction）。下面来看一下ResNet对Bottleneck Building Block的表述：

其对应的图示如下：

可以看到，右图中 1x1 filters把维度（channels）升高了，输入输出维度差距较大。继续如下图所示：

还有一篇论文 "Improved Bottleneck Features Using Pretrained Deep Neural Networks" 对Bottleneck Building Block作了简单的描述："Bottleneck features are generated from a multi-layer perceptron in which one of the internal layers has a small number of hidden units, relative to the size of the other layers."

深度学习之Bottleneck Layer or Bottleneck Features相关推荐

基于深度学习的CNN边缘检测RCF--Richer Convolutional Features for Edge Detection
Richer Convolutional Features for Edge Detection CVPR2017 Caffe:https://github.com/yun-liu/rcf 本文针对边 ...
深度学习笔记6：Learning color features with Sparse Autoencoders
线性解码器动机当采用稀疏自编码器的输出层采用sigmoid作为激励函数时,要求对输入进行缩放或限制,使其位于[0,1]范围中.但是有些输入值很难满足要求,如PCA白化处理的输入并不满足该范围要求. ...
深度学习之bottleneck layer
一. bottleneck layery中文名称:瓶颈层.我初次接触也就是在残差网络中.一般在较深的网络中,如resnet101中使用. 一般的结构如下: 其中两个1X1fliter分别用于降低和升高 ...
深度学习之图像分类（十九）-- Bottleneck Transformer(BoTNet)网络详解
深度学习之图像分类(十九)Bottleneck Transformer(BoTNet)网络详解目录深度学习之图像分类(十九)Bottleneck Transformer(BoTNet)网络详解 1 ...
【深度学习】移动翻转瓶颈卷积的实现(mobile inverted bottleneck convolution)
[深度学习]移动翻转瓶颈卷积的实现(mobile inverted bottleneck convolution) 文章目录 1 MBConv1.1 Depthwise Convolution1.2 ...
深度学习网络backbone？head、neck、bottleneck、GAP、Embedding、pretext task、downstream task、temperature parameter
一些术语: backbone这个单词原意指的是人的脊梁骨,后来引申为支柱,核心的意思.在神经网络中,尤其是CV领域,一般先对图像进行特征提取(常见的有vggnet,resnet,谷歌的inceptio ...
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理
Deep Learning and the Information Bottleneck Principle 深度学习与信息瓶颈原理摘要从信息瓶颈(IB)原理的理论框架出发,对深度神经网络(DNN ...
深度学习-瓶颈结构（Bottleneck）
1. 简介论文:Deep Residual Learning for Image Recognition ResNet的核心内容之一即"Deeper Bottleneck Architec ...
论文阅读：A deep multimodal network based on bottleneck layer features fusion for action recognition
摘要:提出了一个深度瓶颈多模式特征融合(D-BMFF)框架,融合RGB.RGB- d(深度)和三维坐标信息三种不同的模式进行活动分类.在四个数据集: UT-Kinect, CAD-60, Floren ...

深度学习之Bottleneck Layer or Bottleneck Features

深度学习之Bottleneck Layer or Bottleneck Features相关推荐

最新文章

热门文章