摘要

梳理了一些长见的名词，方便大家够好的理解论文和Ai方向的文章。

1. Backbone

骨干网络或者说是主干网络，指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。

2. Neck

是放在backbone和head之间的，是为了更好的利用backbone提取的特征。

3. Bottleneck

瓶颈的意思，通常指的是网网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。Bottleneck有个参数ratio，经常设置为4，比如输入进来的是channel是512，然后，变成128，再变成512输出。

4. Head

head是获取网络输出内容的网络，利用之前提取的特征，head利用这些特征，做出预测。

5.GAP或者avgpool：

全局平均池化（Global Average Pool），就是将某个通道的特征取平均值，在pytorch中，经常使用AdaptativeAvgpoold(7),这个代表自适应性全局平均池化，例如VGG：

 self.avgpool = nn.AdaptiveAvgPool2d((1, 1))

6.Embedding

深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取，并将特征表示为“向量”（vector），这一过程一般也称为“嵌入”（embedding）

关于神经网络中Backbone，Neck，Bottleneck，Head的理解相关推荐

神经网络中的激活函数与损失函数深入理解推导softmax交叉熵
神经网络中的激活函数与损失函数&深入理解softmax交叉熵前面在深度学习入门笔记1和深度学习入门笔记2中已经介绍了激活函数和损失函数,这里做一些补充,主要是介绍softmax交叉熵损失函数 ...
神经网络中-baseline，benchmark，backbone都是什么意思？
baseline 在很多的竞赛中,我们都会见到这个名词baseline,一般都是在此基础上进行'"魔改",以它为标准,来判断改进的好坏. 目的是比较提出算法的性能或者用以比较彰显提 ...
【目标检测】56、目标检测超详细介绍 | Anchor-free/Anchor-based/Backbone/Neck/Label-Assignment/NMS/数据增强
文章目录 1.双阶段和单阶段目标检测器 1.1 双阶段目标检测器 1.1.1 R-CNN 1.1.2 SPP 1.1.3 Fast R-CNN 1.1.4 Faster R-CNN 1.2 单阶段目标 ...
神经网络正则化java_聊聊神经网络中的正则化
如何减少泛化误差,是机器学习的核心问题.这篇文章首先将从六个角度去探讨什么是泛化能力,接着讲述有那些提高泛化能力的方法,这些正则化方法可以怎样进行分类,最后会通过讲述一篇论文,来说明目前的正则化方法在 ...
深度学习网络中backbone是什么意思?
backbone这个单词原意指的是人的脊梁骨,后来引申为支柱,核心的意思. 在神经网络中,尤其是CV领域,一般先对图像进行特征提取(常见的有vggnet,resnet,谷歌的inception),这一 ...
神经网络的Backbone
backbone backbone这个单词原意指的是人的脊梁骨,后来引申为支柱,核心的意思,在神经网络中,指的是网络的主干网络. 用途在使用pytorch搭建我们神经网络,特别是在CV领域,一般先对 ...
深度神经网络中Inception-ResNet模块介绍
之前在https://blog.csdn.net/fengbingchun/article/details/113482036 介绍了Inception,在https://blog.csdn.net/ ...
深度神经网络中的局部响应归一化LRN简介及实现
Alex.Hinton等人在2012年的NIPS论文<ImageNet Classification with Deep Convolutional Neural Networks>中将L ...
Hinton新论文：如何在神经网络中表示“部分-整体层次结构”？
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Geoffrey Hinton 来源丨AI科技评论编辑丨极市 ...

关于神经网络中Backbone，Neck，Bottleneck，Head的理解

文章目录

摘要