吴恩达神经网络和深度学习-学习笔记-27-多任务学习
在迁移学习中,你的步骤是串行的。
在多任务学习中,你是试图让神经网络同时做几件事情,然后希望这里每个任务都能其他所有任务。
一个自动驾驶的例子:
在这里,一个x对应多个y,或者说Y = [y(1), y(2), y(3), y(4)]
对神经网络的训练如下:
需要强调的是,损失函数需要的四个y求和。与Softmax分类给一张图一个标签不同,这里的每张图会有多个标签。
当然也可以,训练4个神经网络来实现功能,但是它们的低水平特征在识别不同物体的时候都会用到。所以训练一个网络的多任务学习,确实要好于训练多个神经网络单目标学习。
另外,对于未完全标记的数据集,我们也可以在上面训练算法。
什么时候多任务学习有意义:
汉语翻译:
- 你训练的一组任务可以共用低层次特征。
- 通常:如果每个任务的数据量很接近。
相对于迁移学习的一个对另一个提升的关系(大数据量 -> 小数据量),多任务学习的不同任务之间是相互提升(其余 -> 本身)。 - 当你可以训练一个足够大的网络,来同时做好所有的工作。
多任务学习会降低性能的唯一情况(相比于训练单个神经网络):
神经网络不够大。
小结:
多任务学习能让你训练一个神经网络来执行许多任务,这可以给比单独完成各个任务你更高的性能。
在实践中,多任务学习的使用频率要低于迁移学习(计算机视觉的物体检测是一个例外)。
吴恩达神经网络和深度学习-学习笔记-27-多任务学习相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习(end-to-end deep learning )
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
- 吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...
最新文章
- CVPR2019最全整理:全部论文下载,Github源码汇总、直播视频、论文解读等
- 分布式文件系统研究-测试-文件下载测试
- .size .shape .size() type的运用
- 电子科学与技术与计算机专业,计算机科学与技术专业和电子科学与技术专业,哪个好些?...
- 送你两个神器,关系数据库数据入湖轻松应对
- iPhone 15 Pro有望实现屏下面容识别 三星已在研发相关技术
- nuxt服务端php,nuxt服务端部署上线
- 企业级内网环境搭建教程
- 【软件测试】Homework 1 Briefly describe an error
- BootstrapTable单元格宽度调整:colResizable()方法
- 数组方法 splice()与slice()的区别
- linux 的学习笔记-linux 指令大全
- python row column_将rowcolumnvalue数据转换为数组numpy
- xampp的安装教程
- win10系统定时自动切换深色模式
- mmdetection(2): DeformableConvNets(DCN)
- C# 实验五 银行系统
- 二维数组更改vue,VueX中直接修改数据报错,修改一维数组,二维数组,报错的原因...
- 向量范数与矩阵范数矩阵模的平方-函数和几何以及映射的关系-数学
- 【解决方案】AI视频结构化智能安防平台EasyCVR保护小区居民安全智能监控方案
热门文章
- python是什么-马哥教育官网-专业Linux培训班,Python培训机构
- 最初语音识别率只有60%,如今坐拥5亿用户,这款AI产品是怎么做到的?
- 网卡重启影响nfs吗_nfs常见问题解决办法
- 【python笔记】:python面向对象实现学生管理系统
- tt c mysql t4 bll_通过T4模板实现代码自动生成
- java中的jackson_Java中的JSON数据绑定框架Jackson使用介绍
- Python安装库Could not find a version that satisfies the requirement requests (from versions: none)
- rocketMq错误日志所在位置
- JS/JQuery操作iframe元素
- easyUI 设置datagrid的行高 + 文字超宽换行