如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十八）迁移学习和多任务学习

花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练）

0. 前言

有时，在构建模型的时候，可以利用多个任务的共性，来更好的构建模型。

本篇主要简要介绍，迁移学习和多任务学习。

1. 迁移学习

迁移学习，顾名思义，将已有的知识迁移至另一个任务。

学习完任务 A 后，利用已学习到的知识，进一步的学习任务 B 。

因为任务 A 低层次的特征通常与任务 B 相似，所以可进行迁移学习。

方法 1：训练完任务 A 后，将最后一层的权重初始化，或者在最后增加几层，然后训练任务 B 。

方法 2：可以下载他人训练好的网络，然后更改输出层 softmax ，将前面层已经训练好的参数冻结，不进行更改，只训练输出层。如果数据较多，则可以冻结较少的层。

何时有用：

任务 A 和任务 B 有相同的输入
任务 A 的数据量比任务 B 的多
任务 A 的低层特征有可能助于任务 B

2. 多任务学习

在多分类任务中，多个输出单元只有一个是 1 ，其余都是 0 ，表示输出的类别。

而在多任务学习中，输出单元有多个 1 ，可理解为多标签。

同时预测样本属于多个类别，以此同时学习多个任务。

何时有用：

多个任务可以共享低层次的特征
每个任务的数据量相近
有能力训练一个非常大的神经网络

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（十八）迁移学习和多任务学习相关推荐

花书+吴恩达深度学习（二十）构建模型策略（超参数调试、监督预训练、无监督预训练）
目录 0. 前言 1. 学习率衰减 2. 调参策略 3. 贪心监督预训练 4. 贪心逐层无监督预训练如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十 ...
花书+吴恩达深度学习（十九）构建模型策略（训练模型顺序、偏差方差、数据集划分、数据不匹配）
目录 0. 前言 1. 调试模型顺序 2. 偏差方差的解决方法 3. 数据集的选取划分 4. 数据不匹配问题 5. 评估指标的选取 6. 贝叶斯最佳误差如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十六）序列模型之双向循环网络 BRNN 和深度循环网络 Deep RNN
目录 0. 前言 1. 双向循环网络 BRNN(Bidirectional RNN) 2. 深度循环网络 Deep RNN 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花 ...
花书+吴恩达深度学习（十五）序列模型之循环神经网络 RNN
目录 0. 前言 1. RNN 计算图 2. RNN 前向传播 3. RNN 反向传播 4. 导师驱动过程(teacher forcing) 5. 不同序列长度的 RNN 如果这篇文章对你有一点小小的 ...
花书+吴恩达深度学习（十四）卷积神经网络 CNN 之经典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）
目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注, ...
花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层
目录 0. 前言 1. 全连接层(fully connected layer) 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 CNN ...
花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层
目录 0. 前言 1. 2D 图像卷积 2. 3D 图像卷积 3. 过滤器(核函数) 4. 过滤器应用于边缘检测 5. padding 填充 6. stride 步长 7. 使用卷积的动机 8. 1乘 ...
花书+吴恩达深度学习（十七）序列模型之长短期记忆 LSTM 和门控循环单元 GRU
目录 0. 前言 1. 长短期记忆 LSTM 2. 门控循环单元 GRU 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十五)序列模型之循环神经网络 ...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十)卷积神经网络 ...

花书+吴恩达深度学习（十八）迁移学习和多任务学习

目录

0. 前言

1. 迁移学习

2. 多任务学习

花书+吴恩达深度学习（十八）迁移学习和多任务学习相关推荐

最新文章

热门文章