PRN（20210426）：GRAPH-BASED CONTINUAL LEARNING(ICLR2021)

@article{tang2021graph-based,title={Graph-Based Continual Learning},author={Tang, Binh and Matteson, S. David},journal={ICLR 2021},year={2021}
}

本文还是关于深度学习的灾难性遗忘问题。当前基于经验回放的方法，通过在线维护一个经验回放单元，选择重要的样本，帮助模型回忆历史知识，缓解灾难性遗忘问题。本文在这种解决方法的基础上：

1）利用随机图表示样本间的关系结构；
2）提出新的正则化目标使得加入的随机图缓解灾难性遗忘问题。

Reservoir sampling（水塘抽样）

对于一个序列到来的数据，每次只能获得一个新的数据，并且数据序列的长度未知。如何对该数据流中的数据进行等概率选择？解决这个问题的算法叫蓄水池采样（Reservoir Sampling）算法。

假设需要采样的数量为M，将序列的前M个元素放入数组中。然后对于第N(N>M)N(N>M)N(N>M)个元素开始，以MN\frac{M}{N}NM的概率来决定该元素是否被替换到数组中（数组中的M个元素被替换的概率相同）。当遍历完所有元素之后，数组中剩下的元素即为所需的采样样本。

水塘抽样的算法如下所示：

基于经验回放的方法（ER）

采用水塘抽样的方式来选择新样本存入或替换经验回放单元中的样本。水塘抽样方法保证经验回放单元中的样本尽量分布到历史到未来的采样数据分布上，从而保存了样本的多样性。

本文基于graph的方法（GCL）

下面这张图清楚的把GCL描绘清楚了。整个网络由四个子网络串并混合结构组成。

CNNθ1CNN\theta_1CNNθ1：卷积层网络用于提取状态xxx的二维特征；
MLPθ1MLP\theta1MLPθ1：全连接层网络用于进一步从xxx的二维特征中提取更低维特征uuu;
MLPθ2MLP\theta2MLPθ2：全连接层网络用于综合context（也即replay memory中的样本，每个task都维护一个专用的context样本buffer）的状态与输出提取低维特征vvv；
MLPθ3MLP\theta3MLPθ3：输出最终的输出（该网络的输入是由MLP1与MLP2的输出做运算得到的）。

每一步可分为两阶段：

1）计算context相关的G与V:将context中的样本按顺序输入到CNN1与MLP1后得到一系列低维特征u，将这些u按顺序组合成一个矩阵（当u为向量）或向量（当u为实数）UcU_cUc，用每个样本的u与context中的其它样本的u用核函数计算其核距离，例如文中采用RBF函数，结果为实数，按列行构成矩阵G。这个过程对于了解核方法的人来说应该很熟悉。就把它当作利用深度学习提取的特征来作为RBF网络的输入。V里包含context中样本的输出信息，这使得方法有点类似高斯过程回归模型。它的核矩阵与此处的G意义相同，V与Y意义相似。

G类似于RBF网络的核矩阵，A类似于RBF网络的特征向量。然后利用伯努利分布生成P（G）与P（A）:
下面两种图表示的是生成隐变量z：
通过约束前后时刻的G变化呈度来达到缓解灾难性遗忘的目的。
最终的损失函数：

by windSeS
2021-04-26

PRN（20210426）：GRAPH-BASED CONTINUAL LEARNING(ICLR2021)相关推荐

PRN（20210426）：Online Continual Learning with Maximally Interfered Retrieval
基于回放单元的方法被大量研究证明能够有效缓解深度学习灾难性遗忘问题.基于回放单元方法的有效性取决于选择存储的样本是否有助于帮助避免遗忘.本篇介绍一种新方法,它通过可以预见的参数更新,来判断样本损失值受 ...
PRN（20210421）：Task-Free Continual Learning
写这篇博客前,我又重新阅读了之前的博客( 利用突触智能实现连续学习|从原理到代码解析(人生好难呀!))的内容,以及文后的那段笔(tu)记(cao).一直没有放弃关注增量式学习的近况,比如:最近ICLR ...
PRN（20200908）：Frosting Weights for Better Continual Training
Zhu, Xiaofeng, et al. "Frosting Weights for Better Continual Training." 2019 18th IEEE Int ...
论文阅读笔记（5）：Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
论文阅读笔记(5):Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering,基于Oracle的可伸 ...
MIML（一）：Fast Multi-Instance Multi-label learning
MIML(一):Fast Multi-Instance Multi-label learning 2014 AAAI 有代码 MIMLfast MIML(一):Fast Multi-Instance ...
Graph Embedding学习笔记（3）：Graph Convolution Networks
笔记从Graph的视角看CNN,上图左右两个部分是等价的.左子图每个网格的通道,对应右子图每个节点的一个属性,左子图卷积核的参数相当于右子图边的权重.所谓3x3卷积就是右子图9个节点属性的加权平均( ...
PRN（20201231）：驾驶人驾驶决策机制遵循最小作用量原理
王建强, 郑讯佳, 黄荷叶. 驾驶人驾驶决策机制遵循最小作用量原理[J]. 中国公路学报, 2020, v.33;No.200(04):159-172. 观点: 为提升智能汽车的自主决策能力,使其能够 ...
PRN（20200816）：A Hierarchical Deep Convolutional Neural Network for Incremental Learning [Tree-CNN]
Roy D , Panda P , Roy K . Tree-CNN: A Hierarchical Deep Convolutional Neural Network for Incremental ...
读论文，第二天（2）：Deep inertial poser: learning to reconstruct human pose from sparse inertial
Deep inertial poser: learning to reconstruct human pose from sparse inertial measurements in real ti ...

PRN（20210426）：GRAPH-BASED CONTINUAL LEARNING(ICLR2021)

Reservoir sampling（水塘抽样）

基于经验回放的方法（ER）

本文基于graph的方法（GCL）

PRN（20210426）：GRAPH-BASED CONTINUAL LEARNING(ICLR2021)相关推荐

最新文章

热门文章