PRN（20210426）：Online Continual Learning with Maximally Interfered Retrieval

基于回放单元的方法被大量研究证明能够有效缓解深度学习灾难性遗忘问题。基于回放单元方法的有效性取决于选择存储的样本是否有助于帮助避免遗忘。本篇介绍一种新方法，它通过可以预见的参数更新，来判断样本损失值受扰动的大小来选择重要样本。该方法被用于样本生成回放与经验回放两种场景。

1. Maximally Interfered Sampling from a Replay Memory

首先，介绍经验回放。

给定一个标准的目标函数min⁡θL(fθ(Xt),Yt)\min_{\theta}\mathcal{L}(f_{\theta}(\mathbf{X}_t), \mathbf{Y}_t)minθL(fθ(Xt),Yt)，此时接收到第ttt个样本Xt\mathbf{X}_tXt，我们估计基于新batch对参数要做的更新θv=θ−α∇L(fθ(Xt),Yt)\theta^{v}=\theta-\alpha\nabla\mathcal{L}(f_{\theta}(\mathbf{X}_t),\mathbf{Y}_t)θv=θ−α∇L(fθ(Xt),Yt)，学习率为α\alphaα。

现在我们，根据值sMI−1(x)=l(fθv(x),y)−l(fθ(x),y)s_{M I-1}(x)=l(f_{\theta^{v}}(x),y)-l(f_{\theta}(x), y)sMI−1(x)=l(fθv(x),y)−l(fθ(x),y)排序后，搜索前kkk个样本存入replay memory。

2. Maximally Interfered Sampling from a Generative Model

下面介绍利用生成模型产生回放经验的应用。

假定一个需要学习的函数fff由参数θ\thetaθ形式化，编码器qϕq_{\phi}qϕ和解码器gγg_{\gamma}gγ分别由参数ϕ\phiϕ与γ\gammaγ形式化。

根据1. Maximally Interfered Sampling from a Replay Memory一样的步骤计算参数可能的更新θv\theta^{v}θv。我们期望找到特征空间的数据点能够最大化如下公式（参数更新前与更新后的损失差）：

为了估计上式的损失差，我们还需要估计y∗y^*y∗，类似于条件变分编码器里的条件，InfoGAN里的生成模型的类别输入。此处用ypre=fθ′(gγ(z))y_{pre}=f_{\theta'}(g_{\gamma}(z))ypre=fθ′(gγ(z))和y^=fθv(gγ(z))\hat{y}=f_{\theta^v}(g_{\gamma}(z))y^=fθv(gγ(z))，我们通过计算DKL(ypre∣∣y^)D_{KL}(y_{pre}||\hat{y})DKL(ypre∣∣y^)来度量参数更新前后的损失差。表示用同一隐变量作为输入时，参数变化前与后的生成的样本的差别。

如果仅考虑生成样本的KL距离作为目标函数，那么模型会趋向于生成模棱两可的结果，以达到上面的最优。为了避免该情况，在KL距离后附加前一模型的H(ypre)H(y_{pre})H(ypre)，使生成的样本对于前一模型是可信的。

公式（2）有助于在可持续学习任务中生成有效的样本加速学习判别模型（避免灾难性遗忘问题），下面介绍如何生成有效样本加速学习生成模型（避免灾难性遗忘问题）。

End
by windSeS 2021-04-26