【深度学习】迁移学习 (Transfer Learning)

Introduction

把别处学得的知识，迁移到新场景的能力，就是“迁移学习”。

具体在实践中体现为：

将 A任务上预训练好的模型放在B任务上，加上少量B任务训练数据，进行微调。

与传统学习的比较

传统学习中，我们会给不同任务均提供足够的数据，以分别训练出不同的模型：

但是如果新任务 和旧任务类似，同时 新任务缺乏足够数据 去从头训练一个新模型，那该怎么办呢？

迁移学习所做的事，就是将旧任务上训练好的模型拿过来放在新任务上，再加上点少量数据稍微调一调，效果往往并不输海量数据下的从头训练：

这是因为A任务和B任务很多共同特征：

迁移学习试图把处理A任务获取的知识，应用于B任务中。此时因为B任务中的大部分特征已经被A任务中预训练好的模型学得了，相当于提前完成了B任务中大部分的活儿，那么B任务自然只需再提供少量数据，即可炼得新模型。

优势

高效、省事。

影响

迁移学习被视为未来的几个重要研究领域之一：

目前，大部分的模型训练都是迁移学习，已经很少有人从头开始新训练一个模型了。

比如基于深度网络的Detection算法，都是在用ImageNet训好的basemodel上，再用COCO或者自己的数据集fine-tune个20epoch足以。

Note：

一个epoch等于遍历该数据集所有图片一遍。
只需要在COCO上fine-tune20个epoch足矣的原因，是因为basemodel已经在ImageNet上训练了几十轮。因此再经过COCO的fine-tune，此时模型就已经得到了 几十 + 20轮 的训练了。
CVPR2018 Best Paper 就是关于Transfer Learning的研究。
蒸馏、在已预训好的模型上finetune，也都属于迁移学习。

[1] 为什么吴恩达认为未来属于迁移学习？
[2] 一文读懂迁移学习

【深度学习】迁移学习 (Transfer Learning)相关推荐

迁移学习简介（transfer learning）
迁移学习简介(transfer learning) https://blog.csdn.net/qq_33414271/article/details/78756366 一.什么是迁移学习? 迁移学习 ...
深度学习 - 强化学习 -迁移学习（杨强教授报告）
李宏毅机器学习课程-Transfer Learning 深度学习 -> 强化学习 ->迁移学习(杨强教授报告) 链接: http://pan.baidu.com/s/1nu6DMRn 密码 ...
元学习迁移学习_元学习就是您所需要的
元学习迁移学习 Update: This post is part of a blog series on Meta-Learning that I'm working on. Check out ...
深度学习|迁移学习|强化学习
1. 深度学习: 基于卷积神经网络的深度学习(包括CNN.RNN),主要解决的领域是图像.文本.语音,问题聚焦在分类.回归也就是我们经典的各种神经网络算法. 图1:深度学习适用领域图2:吴恩 ...
#计划# 机器视觉 #视觉增强 #python #数据库 #算法 #深度学习 #迁移学习 #matlab #数据融合
#1.对振动位移的测量直接法:位移传感器很难实现多点全场信息的非接触测量间接法:加速度传感器要考虑本身质量.低频噪声难以滤除方向:非接触.高精度.全场式 2.机器视觉:视觉传感器获取结构振动视频 ...
深度学习强化学习迁移学习
人工智能现在越来越火,很多非行业内的人对深度学习,强化学习,迁移学习等概念会感到很陌生,同时各种偏理论性和学术性的解释也会显得很晦涩难懂. 其实这类机器学习的机制和人类的学习机制其实很相似,因此本文会 ...
【论文学习】《Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis》
<Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis>论文学习文章目 ...
迁移学习---迁移学习基础概念、分类
迁移学习提出背景在机器学习.深度学习和数据挖掘的大多数任务中,我们都会假设training和inference时,采用的数据服从相同的分布(distribution).来源于相同的特征空间(feat ...
迁移学习---迁移学习领域各位大佬的ppt，视频下载（百度云链接）
先附一张和迁移学习领域权威杨强教授的合影 1.王晋东---迁移学习简明手册链接:https://pan.baidu.com/s/1mkTtxLRZA4hlxZiKchuOjg 提取码:9bj0 2 ...
迁移学习概述(Transfer Learning)
迁移学习概述(Transfer Learning) 迁移学习概述背景定义及分类关键点基于实例的迁移基于特征的迁移特征选择特征映射基于共享参数的迁移深度学习和迁移学习结合 Pre-tr ...

【深度学习】迁移学习 (Transfer Learning)

Introduction

与传统学习的比较

优势

影响

【深度学习】迁移学习 (Transfer Learning)相关推荐

最新文章

热门文章