原文链接：
https://zhuanlan.zhihu.com/p/362351969
A Survey on Curriculum Learning TPAMI 2021

文章目录

问题定义
有效性分析
- 1. 模型优化角度
- 数据分布角度
方法总结
- Predefined CL
- Automatic CL
未来研究方向

全文内容导图汇总：

导图： https://note.youdao.com/s/HLNvypPq

Bengio [1] 首先提出了课程学习（Curriculum learning，CL）的概念，它是一种训练策略，模仿人类的学习过程，主张让模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识。

问题定义

有效性分析

1. 模型优化角度

CL可以看成是一种特殊的 continuation 方法。这种方法首先优化比较smooth的问题，然后逐渐优化到不够smooth的问题。

continuation 方法提供了一个优化目标序列，从一个比较平滑的目标开始，很容易找到全局最小值，并在整个训练过程中跟踪局部最小值。另外，从更容易的目标中学习到的局部最小值具有更好的泛化能力，更有可能近似于全局最小值。

数据分布角度

没有理解。

方法总结

课程学习的核心问题是得到一个ranking function，该函数能够对每条数据/每个任务给出其learning priority (学习优先程度)。 这个则由**难度测量器（Difficulty Measurer）**实现。

基于"难度测量器+训练调度器 "的框架设计：

难度测量器（Difficulty Measurer）：给出其**learning priority (学习优先程度)。
训练调度器（Training Scheduler）：什么时候把 Hard data 输入训练以及每次放多少

根据这两个是否自动设计可以将CL分成两个大类即 Predefined CL 和 Automatic CL。

Predefined CL

难度测量器和训练调度器都是利用人类先验先验知识由人类专家去设计

训练调度器可以分为离散调度器和连续调度器。
两者的区别在于：离散型调度器是在每一个固定的次数（>1）后调整训练数据子集，或者在当前数据子集上收敛，而连续型调度器则是在每一个epoch调整训练数据子集。

存在的问题

(1) 很难预定义CL的方法找到测量器和调度器两者最优的组合。

(2) 不够灵活，没有考虑模型自身的反馈在训练过程中。

(3) 需要专家知识，代价较高。

(4) 人类认为容易的样本对模型来说就不一定容易。（人和机器模型的决策边界不一定一致）

Automatic CL

至少其中一个是以数据驱动的方式自动设计

自动CL的方法论分为四类，即

Self-paced Learning： Self-paced Learning 让学生自己充当老师，根据其对实例的损失来衡量训练实例的难度。这种策略类似于学生自学：根据自己的现状决定自己的学习进度。
Transfer Teacher: Transfer Teacher 则通过1个强势的教师模型来充当教师，根据教师对实例的表现来衡量训练实例的难度。教师模型经过预训练，并将其知识转移到测量学生模型训练的例子难度上。
RL Teacher : RL Teacher 采用强化学习（RL）模式，教师根据学生的反馈，实现数据动态选择。学生根据教师选择的量身定做的学习材料取得最大的进步，而教师也有效地调整自己的教学策略，更好地进行教学。
其他自动CL。如采取不同的优化技术来自动寻找模型训练的最佳课程，包括贝叶斯优化、元学习、hypernetworks等。

未来研究方向

评价数据集和指标
虽然各种CL方法已经被提出并被证明是有效的，但很少有工作用通用基准来评估它们。在现有的文献中，数据集和指标在不同的应用中是多样化的。
更完善的理论分析
现有的理论分析为理解CL提供了不同的角度。尽管如此，我们还需要更多的理论来帮助我们揭示为什么典型的CL是有效的。
更多的CL算法以及应用
自动CL为CL在更广泛的研究领域提供了潜在的应用价值，已经成为一个前沿方向。因此，一个很有前途的方向是设计更多的自动CL方法，这些方法可具有不同的优化方式(如：bandit 算法、元学习、超参数优化等)和不同的目标(如：数据选择/加权、寻找最佳损失函数或假设空间等)。除了方法之外，还应该探索CL在更多领域中的应用。

精选参考文献：

[1] Bengio, Yoshua, et al. “Curriculum learning.”Proceedings of the 26th annual international conference on machine learning. ACM, 2009.

课程学习(Curriculum Learning, CL)相关推荐

一篇综述带你全面了解课程学习(Curriculum Learning)
本文转自知乎,已获作者授权转载,请勿二次转载. 原文:https://zhuanlan.zhihu.com/p/362351969 导读:课程学习 (Curriculum learning, CL) ...
机器学习-55-RL-07-Sparse Reward(强化学习-稀疏奖励:Reward Shaping,Curriculum Learning,Hierarchical RL)
文章目录 Sparse Reward Reward Shaping(奖励塑造) Reward Shaping Curiosity(ICM) Curriculum Learning Curriculum ...
Competence-based Multimodal Curriculum Learning for Medical Report Generation (ACL 2021) 解读+总结
论文:https://web.pkusz.edu.cn/adsp/files/2021/07/ACL2021_CMCL1.pdf 摘要: 针对两个问题: [1]严重的数据偏差: 视觉数据偏差:数据集中 ...
【论文阅读-TPAMI2021】Curriculum Learning(课程学习)综述
简介 Curriculum learning (CL,课程学习)是一种模型训练策略,通过先让模型学习简单数据后再学习困难数据的方式模拟学生进行课程学习的场景.通用的课程学习框架为Difficulty ...
基于课程学习（Curriculum Learning）的自然语言理解
©PaperWeekly 原创 · 作者|张琨学校|中国科学技术大学博士生研究方向|自然语言处理论文标题: Curriculum Learning for Natural Language Un ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
文章目录一.深度学习步骤回顾二.常规指导三.训练过程中Loss很大 3.1 原因1:模型过于简单 3.2 原因2:优化得不好 3.3 原因1 or 原因2 ? 四.训练过程Loss小.测试过程L ...
java正则表达式课程_通过此免费课程学习正则表达式
java正则表达式课程 by Beau Carnes 通过博卡恩斯通过此免费课程学习正则表达式 (Learn Regular Expressions with this free course) & ...
元学习—Meta Learning的兴起
来源:专知 [导读]元学习描述了训练深度神经网络相关的更高级别的元素.在深度学习文献中,"元学习"一词经常表示神经网络架构的自动化设计,经常引用" AutoML" ...
伯克利AI研究院解析「反向课程学习」，改善「强化学习智能体」并应用于机器人技术
原文来源:arXiv 作者:Wieland Brendel.Jonas Rauber.Matthias Bethge 「雷克世界」编译:嗯~阿童木呀.哆啦A亮众所周知,强化学习(RL)是一种强大的技 ...

课程学习(Curriculum Learning, CL)