论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift

1.这篇paper作者提出要解决的问题？

作者提出，大部分现存的小样本元学习领域的一些工作都基于两个假设：
training task和testing task都是从满足同一task distribution中采样出来的小样本数据集。
training tasks有足够的数据集提供给模型训练。
然而在真实的应用场景中，我们要解决的目标任务所在的领域并没有大量数据集用来构建training tasks(与testing task满足同一task distribution)。

2.传统的深度学习的domain adaption和小样本元学习中的domain adaption的区别？

标准的监督学习：训练数据集和测试集来自同一task。
领域自适应：源域和目标域属于不同task或属于同一task但是数据的分布有了改变。
元学习：通过以满足同一task distribution的task为单位进行训练使得模型可以快速适应满足这一task distribution的new task。
元学习with domain adaption：training tasks和testing tasks来自不同的task distribution，属于task-level的domain adaption。

3.本文提出的解决小样本元学习领域自适应的模型。

解决此问题我们需要优化两个目标：
1.学习一个特征提取器可以正确对new task进行分类。
2.学习到domain invarient的特征。

我们可以将模型分成3个模块：
1.由 $G$ 和 $G^{'}$ 构成的类似于auto encoder的模块，构建这个模块的目的是通过源域大数据及sample出的task学习到关键信息损失最小的与target domain类似的tasks。使用的loss function为Cycle Consistency Loss。
2.由 $G$ 和 $D$ 构成的生成对抗网路GAN,构建这个模块的目的是生成可以与testing task分布类似的task用于下一步训练。
3.Prototypical Network的embedding模块，这一个模块的目的是使用training task生成的false data学习一个好的embedding可以适应testing task。

通过loss function我们可以得到训练过程。
1：从source domain中sample出training task(episode)。
2：将training task输入到 $G$ 得到与testing task中样本维度相同的feature，将之输入到 $G^{'}$ 和 $D$ (testing task也输入 $D$ )。得到loss $L_{da}$ 。
3：将training task输入 $G$ 得到的episodes输入到embedding layer $F^\hat{F}$ 并通过计算到对应的loss $L_{fs}$ 。
4：调整 $F^\hat{F}$ $G$ $G^{'}$ 的参数最小化 $L_{fs}+L_{da}$ 。
5：调整 $D$ 的参数最大化 $L_{da}$ 。
重复1~5直到模型收敛。
通过模型的实验结果发现模型较传统的将meta-learning方法直接运用到training tasks和testing task分布不同的情况取的了state of the art的效果。