读文章笔记（十）：多任务学习
读文章笔记（十）：多任务学习
- 多任务学习优点
- 多任务学习方法
- hard parameter sharing
- soft parameter sharing
- 多任务学习改进的方向
- 注意事项
- 来源于公众号：https://mp.weixin.qq.com/s/2I9iPFP_BkSjSEm7xJiHPQ
早在2017年，SEBASTIAN RUDER研究员就对当时的多任务学习进行了详细总结：An Overview of Multi-Task Learning in Deep Neural Networks
多任务学习优点
- 一次搞定多个任务降低时间成本、计算成本、存储成本、甚至还有模型的维护成本。
- 多任务学习不仅方便，还可能效果更好！将很多数据集比稀疏的任务放在一起学，一定程度上会缓解模型的过拟合，提高了模型的泛化能力。
- 多任务学习能提高泛化能力，从另一个角度来看，对于数据很少的新任务，也解决了所谓的“冷启动问题”。
- 数据增强，不同任务有不同的噪声，假设不同任务噪声趋向于不同的方向，放一起学习一定程度上会抵消部分噪声，使得学习效果更好，模型也能更鲁棒。
- 多任务学习通过引入不同任务的数据，自然而言有类似的效果。
- 辅助任务，某些任务所需的参数可以被其他任务辅助训练的更好。
多任务学习方法
- 分为：hard parameter sharing和soft parameter sharing
hard parameter sharing
无论最后有多少个任务，底层参数统一共享，顶层参数各个模型各自独立。由于对于大部分参数进行了共享，模型的过拟合概率会降低，共享的参数越多，过拟合几率越小，共享的参数越少，越趋近于单个任务学习分别学习。
soft parameter sharing
底层共享一部分参数，自己还有独特的一部分参数不共享；顶层有自己的参数。底层共享的、不共享的参数如何融合到一起送到顶层，也就是研究人员们关注的重点啦。
多任务学习改进的方向
- 模型结构设计：哪些参数共享，哪些参数不共享？
- MTL的目标loss设计和优化改进
- 直接设计更合理的辅助任务！
注意事项
- 洗掉你的脏数据！
- 理解你的数据、特征的含义、监督信号是不是对的，是不是符合物理含义的
- 如果MTL中有个别任务数据十分稀疏，可以直接尝试一下何凯明大神的Focal loss！
- 仔细分析和观察数据分布，如果某个任务数据不稀疏，但负例特别多，或者简单负例特别多，对负例进行降权/找更难的负例也可能有奇效果哦。
读文章笔记（十）：多任务学习相关推荐
- 读文章笔记（三）：从源码学习Transformer
读文章笔记(三):从源码学习Transformer encoder分为两部分: decoder 公众号机器学习算法工程师 文章链接: https://mp.weixin.qq.com/s/0NajB_ ...
- 读文章笔记（十一）：对比学习（Contrastive Learning）
读文章笔记(十一):对比学习(Contrastive Learning) 对比学习 来源于:对比学习(Contrastive Learning):研究进展精要 对比学习 对比学习属于无监督或者自监督学 ...
- 读文章笔记-自适应和加速GB生成算法
读文章笔记-GBC 文章 背景 内容 定义1+现有GB生成过程 GBKNN 文章的GB生成算法 疑问与反思 文献脉络 文章 An Efficient and Adaptive Granular-Bal ...
- 读文章笔记（二）：模型结构优化前沿动态综述
读文章笔记(二):模型结构优化前沿动态综述 公众号东大自然语言处理实验室文章链接: link. NLP领域神经网络结构的发展历程: 相关模型总结分析,NLP领域模型结构的整体趋势 神经网络模型结构优化 ...
- 读文章笔记（七）：赛尔笔记 | 多模态情感分析简述
读文章笔记(七):多模态情感分析简述 相关任务概览 数据集和方法 面向图文的情感分类任务 面向图文的方面级情感分类任务 赛尔笔记 | 多模态情感分析简述 https://zhuanlan.zhihu. ...
- 读文章笔记（八）：多模态情感分析数据集整理
读文章笔记(八):多模态情感分析数据集(Multimodal Dataset)整理 双模态(一般是文本.图像和语音的两两组合) 三模态(一般是文本.图像加语音) 作者:骑着白马的王子 地址:https ...
- 读文章笔记（十三）：多模态特征融合方法总结
读文章笔记(十三):多模态特征融合方法总结 来源于:多模态特征融合方法总结 多模态特征融合的方法大体分为三种:前端融合.中间融合和后端融合.
- 【阅读笔记】多任务学习之PLE(含代码实现)
本文作为自己阅读论文后的总结和思考,不涉及论文翻译和模型解读,适合大家阅读完论文后交流想法. PLE 一. 全文总结 二. 研究方法 三. 结论 四. 创新点 五. 思考 六. 参考文献 七. Pyt ...
- 【论文笔记】多任务学习（Multi-Task Learning）
1. 前言 多任务学习(Multi-task learning)是和单任务学习(single-task learning)相对的一种机器学习方法.在机器学习领域,标准的算法理论是一次学习一个任务,也就 ...
最新文章
- 二叉树的前序、中序、后序非递归遍历 python实现
- 干货丨不可错过的大数据学习资源推荐
- BCH热门应用SLP发币系统逐渐走向成熟
- 操作符*或者-的重载
- iOS之UI--涂鸦画板实例 （有待更新）
- java删除csv一行_在Java中读取CSV文件时跳过第一行
- HTML5的优点与缺点
- redis的持久化之RDB的配置和原理
- HCIE Security 单包攻击防范 备考笔记（幕布）
- 数学建模之统计回归模型详解
- word表格转为html5,怎么把网页版的表格转至Word
- 读书分享《The art of CRM》--CRM的艺术
- rhythmbox插件开发笔记1：简介入门
- 小记：父子工程项目打包报错-程序包com.XXX.XXX不存在
- Acwing语法基础课第六次课-循环判断练习题，连续整数相加，约数，PUM,余数，六个奇数，乘法表，
- DSt：数据结构的最强学习路线之数据结构知识讲解与刷题平台、刷题集合、问题为导向的十大类刷题算法(数组和字符串、栈和队列、二叉树、堆实现、图、哈希表、排序和搜索、动态规划/回溯法/递归/贪心/分治)总
- 芝诺悖论：一个跑得最快的人永远追不上跑得最慢的人
- python list 求平均
- 爱奇艺体育与巴塞罗那足球俱乐部达成合作；中国机械工业百强、汽车工业整车二十强公布 | 美通企业日报...
- LeetCode #378 JavaScript