一、迁移学习：

1、从字面意义上理解是知识转移的学习方法，指一种学习方法；类比机器学习、深度学习等等概念；
2、把已训练好的模型参数迁移到新的模型来帮助新模型训练

二、微调：

1、从字面意义上理解是小小的调整；指的是一种实现技术或者工具
2、对训练好的模型的参数进行小小的调整；

三、迁移学习与微调的关系

在迁移学习过程中，直接拿来在新场景中使用，取得更优的效果，是需要作相应的处理，而微调是实现迁移学习中的一种工具；处理主要分为两类：

1、Extract Feature Vector：bert论文中(亦称feature-based)先计算出预训练模型对所有训练和测试数据的特征向量，然后抛开预训练模型，然后基于已经提取出来的特征向量设计新的分类模型
2、fine-tune:对预训练模型作些小小的调整；预训练模型可以作为新场景下的训练初始参数，也可以冻结部分层，其他参数可以在训练中进行改变；也可以为预训练模型增加一个全连接层，在训练过程中，仅仅更新新层参数

迁移学习与微调的区别相关推荐

迁移学习和微调深度卷积神经网络
这是由几个部分组成的博客系列,我将在此系列中聊一聊我对深度学习的经验及认识.在第一部分,我讨论了不同的有代表性的框架的优劣,以及我选择 Theano(与 Lasagne)作为我的平台的原因. 第二部分 ...
迁移学习特征提取微调
迁移学习特征提取&微调迁移学习特征提取微调迁移学习迁移学习是把预训练好的模型迁移到新的任务上. 在神经网络迁移学习中,有两个应用场景:特征提取和微调特征提取特征提取:冻结除了全 ...
Tensorflow 2.x(keras)源码详解之第十五章：迁移学习与微调
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...
迁移学习和finetune的区别及迁移学习代码实现
转载:https://blog.csdn.net/gentelyang/article/details/77512565 一:区别 1:迁移学习是将已经学习到的知识应用到其他领域,比如通用的语音模型迁 ...
torch学习 (三十四)：迁移学习之微调
文章目录引入 1 微调 2 热狗识别 2.1 数据集载入 2.2 数据集预处理 2.3 定义和初始化模型 2.4 微调模型致谢引入场景: 从图像中识别出不同种类的椅子,然后将购买链接推 ...
【小白学习PyTorch教程】十四、迁移学习：微调ResNet实现男人和女人图像分类
「@Author:Runsen」上次微调了Alexnet,这次微调ResNet实现男人和女人图像分类. ResNet是 Residual Networks 的缩写,是一种经典的神经网络,用作许多计算 ...
Tensorflow官网——迁移学习和微调部分解读
import matplotlib.pyplot as plt import numpy as np import os import tensorflow as tf#数据预处理 #数据下载 fro ...
迁移学习(transfer learning)与finetune的关系？【finetune只是transfer learning的一种手段】
目录 1.迁移学习简介 2.为什么要迁移学习? 3.迁移学习的几种方式 1)Transfer Learning: 2)Extract Feature Vector: 3)Fine-tune: 4.三种 ...
基于MK-MMD度量迁移学习的轴承故障诊断方法研究
摘要上一篇文章实验是基于凯斯西厨大学轴承数据集,使用同一负载情况下的6种轴承数据进行故障诊断,并没有进行不同负载下轴承故障诊断.之前没做这块迁移学习实验,主要是对于迁移学习理解不到位,也没有不知道从 ...

迁移学习与微调的区别

一、迁移学习：

二、微调：

三、迁移学习与微调的关系

迁移学习与微调的区别相关推荐

最新文章

热门文章