paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE

预训练模型作为当下迁移学习的一种主流方法，让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本。不过，天下没有免费的午餐，这种方法看似“一劳永逸”，也需要付出一定的代价，其中的一大问题便是，由于反向传播带给深层卷积层的更新较小，微调得到的模型往往被“吸引”在预训练模型附近，无法得到充分更新。

对此，百度的一篇 ICML 2020工作《RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr》，提出了一种简单有效的策略RIFLE，通过周期性的重新初始化全连接层，给深层的特征提取网络带来有意义的更新，提升低层次特征的学习，从而显著提升迁移学习的效果。其项目开源地址为https://github.com/AgentMaker/RIFLE_Module/

虽然百度官方开源了应用于迁移学习的RIFLE，但是其对内置模型的迁移学习是不友好的。因为RIFLE的使用需要将微调层进行多次初始化，也就是是训练时的对象必须一直都是paddle.nn.Layer。然而，训练过程中保持的模型是无法再次被加载为paddle.nn.Layer对象的，只能被加载为TranslatedLayer对象，这样的对象是无法获取其输出laye

paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE相关推荐

(图解)一步一步使用CPP实现深度学习中的卷积
(图解)一步一步使用CPP实现深度学习中的卷积导语卷积操作在深度学习中的重要性,想必大家都很清楚了.接下来将通过图解的方式,使用cpp一步一步从简单到复杂来实现卷积操作. 符号约定 F为输入; w ...
深度学习中的卷积操作
本文从信号处理中的互相关运算引入深度学习中的卷积. 然后介绍了不同的卷积类型,以及如何在pytorch中使用这些卷积层. (在看pytorch文档中的Conv1D/2D/3D的时候感到比较困惑,又很好 ...
干货｜一文全解深度学习中的卷积
来源:1024深度学习概要:卷积现在可能是深度学习中最重要的概念.正是靠着卷积和卷积神经网络,深度学习才超越了几乎其他所有的机器学习手段. 译自Tim Dettmers的Understanding ...
迁移学习中的负迁移：综述
点击上面"脑机接口社区"关注我们更多技术干货第一时间送达导读迁移移学习(TL)试图利用来自一个或多个源域的数据或知识来促进目标域的学习.由于标记成本.隐私问题等原因,当目标域 ...
odoo pivot中去掉求和_一文读懂深度学习中的卷积运算与图像处理
华为人工智能认证讲师袁梦在人工智能深度学习技术中,有一个很重要的概念就是卷积神经网络 CNN(Convolutional Neural Networks).卷积神经网络被广泛地运用到计算机视觉中, ...
卷积为什么如此强大？一文全解深度学习中的卷积
卷积为什么如此强大?一文全解深度学习中的卷积 2018年05月10日 15:52:41 七月在线实验室阅读数:17112 作者:Tim Dettmers(Understanding Convolut ...
卷积为什么如此强大？理解深度学习中的卷积
译自Tim Dettmers的Understanding Convolution in Deep Learning有太多的公开课.教程在反复传颂卷积神经网络的好,却都没有讲什么是"卷积&qu ...
深度 | 理解深度学习中的卷积
译者按:本文译自 Tim Dettmers 的 Understanding Convolution in Deep Learning.有太多的公开课.教程在反复传颂卷积神经网络的好,却都没有讲什么是「 ...
迁移学习中使用下载好的权重
迁移学习中使用下载好的权重 1.最开始使用Vgg16 2.将下载好的权重放到对应的目录将下载好的权重放到./keras/models中改用其他内嵌网络会发现,直接可以用了

paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE

paddlepaddle 13 迁移学习中的卷积基加强训练方法-RIFLE相关推荐

最新文章

热门文章