【迁移学习(Transfer L)全面指南】迁移学习中的bottlenecks(瓶颈层)

在学习How to Retrain an Image Classifier for New Categories的时候，在retrain刚开始的时候会建立一堆的bottlenecks文件，所以这到底是用来干什么的呢？

首先，迁移学习只是训练神经网络的最后一层，也就是给出最后结果的softmax层。那我们该如何训练呢？也很简单，每次拿一部分图片喂给神经网络，经过层层网络提取特征后将一个特征向量传递给最后一层，然后最后一层给出分类结果。

上面的方法看起来没什么问题，实际上也没啥问题，就是有点慢。因为我们每次都要计算每张图片的特征向量。而我们知道，在训练过程中同一幅图片会被喂给神经网络很多次，所以我们重复计算了很多次同一图片的特征向量。

说到这里可能你就已经明白了：为了避免重复计算每张图片的特征向量，我们把每张图片的特征向量缓存下来，训练的时候复用缓存值来训练最后一层，从而缩短训练时间。

之所以叫bottlenecks，可以看一下下面的解释：

A bottleneck is an informal term we often use for the layer just before the final output layer that actually does the classification. “Bottleneck” is not used to imply that the layer is slowing down the network. We use the term bottleneck because near the output, the representation is much more compact than in the main body of the network.

【迁移学习(Transfer L)全面指南】迁移学习中的bottlenecks(瓶颈层)相关推荐

【迁移学习(Transfer L)全面指南】2021年迁移学习发展现状及案例探究
文章目录 1 迁移学习简介 2 样本权重迁移法 3 特征变换迁移法 4 迁移学习最新进展 5 迁移学习在图像处理领域的应用 1 迁移学习简介迁移学习(Transfer Learning)是机器学习中 ...
【迁移学习(Transfer L)全面指南】基于迁移学习完成图像分类任务（Pytorch）
文章目录 1 任务 2 场景 3 代码实现 3.1 导入第三方库 3.2 加载数据 3.3 训练 3.4 微调卷积网络 4 ConvNet 作为固定特征提取器 1 任务如何使用迁移学习训练用于图像分 ...
【迁移学习(Transfer L)全面指南】元学习
文章目录 1 什么是元学习? 2 与迁移学习 3 元学习的基本问题可以分成三大类 4 总结 1 什么是元学习? 元学习即Meta-Learnig,它希望模型获取一种"学会学习"的能 ...
【迁移学习(Transfer L)全面指南】CVPR(2020)元学习、小样本、领域自适应、领域泛化和迁移学习概述
文章目录 1 元学习 2 小样本 3 领域自适应 3.1 基于差异的方法 3.2 基于对抗的方法 3.3 基于重构的方法 4 领域泛化 5 迁移学习 1 元学习元学习,meta-learning,又 ...
【迁移学习(Transfer L)全面指南】Domain-Adversarial Training：基于对抗的迁移学习方法
文章目录 1 前言 2 迁移学习概述 3 背景简介 4 域对抗迁移网络 (DANN) 5 损失函数 5.1 标签预测器的损失 5.2 域判别器损失 5.3 总损失 6 Experiments Resu ...
【迁移学习(Transfer L)全面指南】Pytorch处理体积数据
学习了如何加载和表示2D图像,比如使用相机拍摄的图像.在诸如涉及CT(Computed Tomography)扫描等医学成像应用程序的情况下,通常需要处理从头到脚方向堆叠的图像序列,每个序列对应于整个 ...
【迁移学习(Transfer L)全面指南】零次学习（Zero-Shot Learning）入门
文章目录 1 零次学习(zero-shot learning)基本概念 2 目前的研究方式 3 数据集介绍 4 推荐阅读的论文 5 Source Data 有标签,Target Data 没有标签 6 ...
【迁移学习(Transfer L)全面指南】不需要时关闭autograd的方法：torch.no_grad
从训练循环中,你注意到只能在train_loss上调用backward.因此,误差只会根据训练集来进行反向传播.验证集用于在未用于训练的数据上对模型输出的准确性进行独立的评估. 好奇的读者此时可能会有 ...
【迁移学习(Transfer L)全面指南】方差、协方差和Pearson相关系数的关系
方差用于反应数据的离散程度,期望用于反应数据的聚合情况. 协方差用于反映两个维度之间的数据偏离期望值的相关性,若同时偏离,即为正相关,数据上现象为:(某维度偏离点-均值)*(另一维度-均值)>0 ...

【迁移学习(Transfer L)全面指南】迁移学习中的bottlenecks(瓶颈层)

【迁移学习(Transfer L)全面指南】迁移学习中的bottlenecks(瓶颈层)相关推荐

最新文章

热门文章