迁移学习

总结一下，什么时候迁移学习是有意义的？如果你想从任务A学习并迁移一些知识到任务B，那么当任务A和任务B都有同样的输入时，迁移学习是有意义的。在第一个例子中，A和B的输入都是图像，在第二个例子中，两者输入都是音频。当任务A的数据比任务多得多时，迁移学习意义更大。所有这些假设的前提都是，你希望提高任务B的性能，因为任务B每个数据更有价值，对任务A来说通常任务的数据量必须大得多，才有帮助，因为任务A里单个样本的价值没有比任务B单个样本价值大。然后如果你觉得任务A的低层次特征，可以帮助任务B的学习，那迁移学习更有意义一些。

迁移学习最有用的场合是，如果你尝试优化任务B的性能，通常这个任务数据相对较少，例如，在放射科中你知道很难收集很多X射线扫描图来搭建一个性能良好的放射科诊断系统，所以在这种情况下，你可能会找一个相关但不同的任务，如图像识别，其中你可能用1百万张图片训练过了，并从中学到很多低层次特征，所以那也许能帮助网络在任务B在放射科任务上做得更好，尽管任务B没有这么多数据。迁移学习什么时候是有意义的？它确实可以显著提高你的学习任务的性能，但我有时候也见过有些场合使用迁移学习时，任务A实际上数据量比任务B要少，这种情况下增益可能不多。

多任务学习

在迁移学习中，你的步骤是串行的，你从任务A里学习知识然后迁移到任务B。在多任务学习中，你是同时开始学习的，试图让单个神经网络同时做几件事情，然后希望这里每个任务都能帮到其他所有任务。

我们来看一个例子，假设你在研发无人驾驶车辆，那么你的无人驾驶车可能需要同时检测不同的物体，比如检测行人、车辆、停车标志，还有交通灯各种其他东西。比如在左边这个例子

那么多任务学习什么时候有意义呢？当三件事为真时，它就是有意义的。

第一，如果你训练的一组任务，可以共用低层次特征。对于无人驾驶的例子，同时识别交通灯、汽车和行人是有道理的，这些物体有相似的特征，也许能帮你识别停车标志，因为这些都是道路上的特征。

第二，这个准则没有那么绝对，那个小任务的平均数据量差不多。

吴教主深度学习和神经网络课程总纲

3.2.4 迁移学习和多任务学习相关推荐

ICML2018见闻 | 迁移学习、多任务学习领域的进展
作者 | Isaac Godfried 译者 | 王天宇编辑 | Jane 出品 | AI科技大本营 [导读]如今 ICML(International Conference on Machine ...
花书+吴恩达深度学习（十八）迁移学习和多任务学习
目录 0. 前言 1. 迁移学习 2. 多任务学习如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔~我会非常开心的~ 花书+吴恩达深度学习(十八)迁移学习和多任务学习花书+吴恩达深度学习(十 ...
多分类学习、多标签学习、多任务学习的区别
Multi-class. Multi-label . Multi-task 三者之间的区别与相同之处 1.直观解释多分类学习(Multi-class) 一个分类器,但分的类别是包含多个的.例如:分类 ...
模型独立学习：多任务学习与迁移学习
导读:机器学习的学习方式包括监督学习和无监督学习等.针对一个给定的任务,首先要准备一定规模的训练数据,这些训练数据需要和真实数据的分布一致,然后设定一个目标函数和优化方法,在训练数据上学习一个模型.此 ...
3.2 实战项目二（手工分析错误、错误标签及其修正、快速地构建一个简单的系统（快速原型模型）、训练集与验证集-来源不一致的情况（异源问题）、迁移学习、多任务学习、端到端学习）
手工分析错误手工分析错误的大多数是什么猫猫识别,准确率90%,想提升,就继续猛加材料,猛调优? --应该先做错误分析,再调优! 把识别出错的100张拿出来, 如果发现50%是"把 ...
多核学习、多视图学习、多任务学习和集成学习的区别和联系
多核学习既可以用在多任务学习,也可以用在多视图学习,也有研究同时对多任务和多视图同时采用多核的,目前已经有通用多任务多核学习方法.如果将多核用在多任务学习,相当于不同任务共享子空间的同时,还有各自特有 ...
深度学习之----多任务学习
介绍在机器学习(ML)中,通常的关注点是对特定度量进行优化,度量有很多种,例如特定基准或商业 KPI 的分数.为了做到这一点,我们通常训练一个模型或模型组合来执行目标任务.然后,我们微调这些模型,直 ...
【深度学习】多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)
1. 前言在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我们训练单一模型或多个模型集合来完成指定得任务.然后,我们通过精细调参,来改进模型直 ...
DLNg[结构化ML项目]第二周迁移学习+多任务学习
1.迁移学习比如要训练一个放射科图片识别系统,但是图片非常少,那么可以先在有大量其他图片的训练集上进行训练,比如猫狗植物等的图片,这样训练好模型之后就可以转移到放射科图片上,模型已经从其他图片中学习 ...

3.2.4 迁移学习和多任务学习

迁移学习

多任务学习

3.2.4 迁移学习和多任务学习相关推荐

最新文章

热门文章