作为人工智能浪潮中最为突出的贡献之一，深度神经网络在固定任务的表现已经得到了广泛的认可，针对特定应用场景的优化部署也在急速增长。深度网络是一个静态的知识实体，但是在扩展此知识容量的过程中通常会导致已学习任务的灾难性遗忘。持续学习将主流深度学习的范式转变成动态针对多项任务的过程，该网络可以不断积累不同任务的知识，而无需从头开始进行再训练，旨在减轻遗忘和快速进行知识有效迁移。

为进一步推动持续学习更多的应用场景，吸引学术，工业界的研究开发人员的广泛关注，英特尔中国研究院作为主办方之一，今年即将在IEEE Conference on Computer Vision and Pattern Recognition (CVPR)  2020 举办“Continual Learning in Computer Vision Workshop”。CVPR (IEEE Conference on Computer Vision and Pattern Recognition) 即IEEE国际计算机视觉与模式识别会议是计算机视觉三大顶会之一。目前，在中国计算机学会推荐国际学术会议的排名和清华计算机学科推荐列表中，CVPR均为人工智能领域的A类顶级会议。

英特尔中国研究院去年成功在2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019) 上开展了Lifelong Robotic Vision Challenge and Workshop (终身机器视觉挑战赛与研讨会)。该活动共吸引了来自全球共150个参赛队的注册；40多个参赛队在基于我们提出的OpenLOIRS数据集上提交了算法成绩；约10多家主流媒体报道了比赛的进展。我们发现自主系统研究需要多方力量的合作和推进，研究和技术落地是一个相辅相成，相互启发收益的关系。英特尔中国研究院也在持续/终身学习的领域开展了基于理论，算法模型，应用，和测试平台四个层次的工作。

本次workshop (研讨会) 主要探究计算机视觉问题中的持续学习的能力。在计算机视觉系统中，我们关注如何在多个连续视觉任务中保证算法的稳定性，如何有效的克服神经网络中灾难性遗忘的问题，如何将旧任务的知识快速迁移到新的任务中，以及如何在硬件受限情况下优化持续学习的综合表现。

图1：持续学习是同时具备生物智能可解释性

和实用性的技术研究方向

本次研讨会主要分为三个模块：现场专家报告与圆桌讨论，关于持续学习方向在计算机视觉应用的论文投稿，持续学习挑战赛（CLVision）。目前已经成功邀请并确认7位学术界、工业界专家，他们会在现场进行口头报告，讨论Continual Learning在计算机视觉中的研究前景以及潜力，他们是:

Razvan Pascanu: Google Deepmind研究科学家，师从深度学习三巨头之一Prof. Yoshua Bengio，Theano深度学习框架编写者之一，Google Scholar 引用 15675。

Chelsea Finn：斯坦福大学助理教授，研究方向为机器人交互与机器智能，2018年博士毕业论文获得ACM Doctoral Dissertation，于2018年获得MIT TR35 Innovator Award，Google Scholar 引用5320，代表作End-to-end training of deep visuomotor policies获得1400+引用。

Cordelia Schmid：INRIA 研究总监，IEEE fellow，曾担任IEEE PAMI副主编(2001--2005)，IJCV总编辑(2013--Current)，CVPR 2015 general chair。Google Scholar引用93073，h-index114。

Davide Maltoni：博罗尼亚大学(University of Bologna)教授，研究领域为计算机视觉，指纹识别工作获得5474次引用，Google Scholar引用15937。

Christopher Kanan：Paige 高级AI研究科学家，罗彻斯特理工学院卡尔森影像科学中心(RIT)助理教授，康奈尔科技大学(Cornell Tech)客座助理教授，研究领域为任务驱动的场景理解、终生机器学习。

Gemma Roig：SUTD助理教授，MIT  Research Affiliate，师从McGovern Institute创始人Prof. Tomaso Poggio，主要研究领域为视觉理解分析。

Subutai Ahmad：Numenta Research VP，主要研究领域为机器学习、计算脑神经科学、计算机视觉。

我们研讨会现正接收关于持续学习的文章，经过作者同意后，我们将会收录到CVPR workshop proceedings中。征集文章主要是针对持续学习的新颖方法和应用场景等方向。主要会讨论基于下述方法的解决方案：

图2：icub-robot进行持续学习新的物体种类

（IROS2019 Lifelong Object Recognition第二名方案）

持续/终身学习：能够适应新任务而又不会忘记以前学习过的模型。

少样本学习：从少数样本中快速学习的新任务。

迁移学习：如何使用新任务信息来提高先前和新任务的性能。

生物启发式学习：机遇脑科学提出持续学习的基本机制，例如记忆或突触可塑性。

好奇心机制：通过非监督/自监督的方式，模型可以识别最重要的信息以有效整合新知识。

评价指标：用于持续学习的评价指标和基准。

尽管最近出现了大量在自主系统中持续学习的研究 [1]，但是在机器学习和计算机视觉的社区仍然没有统一、合理的基准集以及量化标准用以评判最新提出的持续学习算法。其中，除了很难对持续学习算法泛化能力进行评估，高度非标准化的评估协议也会导致提出的算法很难去和文献中的算法进行关联和比较。这就是我们计划在本次研讨会中举办持续学习的挑战赛的原因，我们希望基于多种持续学习协议，全面评估计算机视觉任务，比如检测，识别。本次挑战赛旨在：

• 扩大采用持续学习的方法，可用于处理自然图像和视频。

• 开发并推广统一的评估持续学习协议标准。

• 在共享的硬件平台上进行持续学习算法，全面评估准确率，内存占用，推理时间，模型大小，以进行公平比较。

• 并以隐藏的一个持续学习基准集来测试方法的泛化能力。

图3：英特尔中国研究院用于持续物体识别的

OpenLORIS-Object 数据集 [2]

在过去的几年中，我们见证了学术和工业界对持续学习的广泛关注，并且逐渐走向持续学习在边缘计算上的应用。日前，对于持续学习的兴趣本质上有两个基于它本质特点的原因。首先，从人工智能的角度来看，它可以看作是朝着建立能够不断学习并获得新的复杂技能和知识的自主系统迈出的重要一步。其次，从更实际的应用角度来看，因为持续学习的两个重要的特性：适应性和可扩展化。其技术的主要标志之一就是能够仅使用最新数据或少量旧任务样本（即无需访问全部旧数据）来更新模型。当从高维度数据流或者具有临时性的数据中进行边缘学习时，这似乎是唯一可行的解决方案。每当有新信息可用时，我们通常很少有机会将过去所有的数据进行保存并重新训练模型。

不幸的是，当（深层或浅层）神经网络仅根据新数据进行训练时，它们会经历权重的快速覆盖，这就是文献中称为灾难性遗忘的现象。持续性学习是在时间维度上的学习和记忆，笔者之前的工作[3-5]在高维数据流进行降维以及预测的过程中发现，持续学习会出现两个主要挑战，首先对于单任务，涉及到灵活的动态建模，高效的映射函数建模（不确定性的传播），符合真实场景数据分布的建模（离散/连续）；其次是多任务的有效模组的选取，跨任务的共享（类似于自动机器学习的结构搜索）。

笔者认为持续学习的核心是和系统记忆相关的。这两者好似一枚硬币的正反两面。人工智能中记忆的模块设计应该是对信息进行编码、存储和提取的过程。正是记忆模块的清晰定义才能将持续学习的过程成为可能。编码（encoding）的过程首先需要从大量输入的感觉信息中选择某些刺激事件，如计算机中的摄像头传感器；存储（storage）的过程是指个体随时间推移将已经编码的信息保留下来的过程。记忆的存储应当取决于三个阶段：感觉记忆，工作记忆和长时记忆，从而决定记忆的持续时间；提取（retrieval）的过程基于记忆的编码，在有效线索的提示下，信息的提取应该是一瞬间的。对于记忆的建模，我们认为有效的生成模型是未来的方向，不同于简单的数据保存或者参数+网络的存储，深度生成模型在样本的多样性和质量上都有了重要的突破 [6,7]。

从人类的记忆模式来看，记忆主要分为三个阶段 [8]。感觉记忆阶段，会短暂的保持信息，等待进入短暂记忆用于工作模式的输入，此时一般为无意义编码，通常人脑会存储12-16个项目，持续时间在几秒之内，涉及到感觉通路；短暂记忆阶段，也叫做工作记忆，通常会感觉记忆建立与事件之间的关系，通常会存储5-9个模组，持续时间约20s，涉及海马体和额叶；长时记忆阶段有程序性记忆，例如我们知道该怎么做一件事，包括对运动技能，经典性条件作用的记忆，在机器学习中可类比模型的推理预测过程；也有陈述性记忆，即知道什么。包括对语言，常识，概念的语义记忆和对某件事情或人经历的情景记忆。而持续学习就是这三种记忆模式形成的关键步骤。

CVPR 2020持续学习研讨会（CLVISION）的目标是探索可推广到连续任务的方法，在不干扰先前学习信息的情况下逐步巩固其知识。在这个为期一天的研讨会中，我们会介绍当前的最新状态以及持续学习中计算机视觉的局限性和未来的发展方向。总体而言，我们相信持续学习的成果将会是计算机视觉和AI领域中关键的里程碑。我们欢迎各界计算机视觉、机器学习、自主系统领域的爱好者们进行研讨会论文的投稿，参加持续学习的挑战赛！

相关链接：

CVPR 2020 持续学习研讨会网站

https://sites.google.com/view/clvision2020/overview

持续学习论文提交网站（接收论文会收入CVPR 2020 workshop论文集）

https://cmt3.research.microsoft.com/CONTVISION2020

IROS 2019 关于持续学习在机器视觉中的应用网站

https://lifelong-robotic-vision.github.io/

持续学习进展论文参考：

[自主系统相关]

[1] Fan Feng, Rosa H.M. Chan, Xuesong Shi, Yimin Zhang, Qi She. “Challenges in Task-incremental Learning for Assistive Robotics”[J], IEEE access，2019

[2] Qi She et al. “OpenLORIS-Object: A Dataset and Benchmark towards Lifelong Object Recognition”. International Conference on Robotics and Automation (ICRA), 2020

[时序建模相关]

[3]  Qi She, Anqi Wu. “Neural Dynamics Discovery via Gaussian Process Recurrent Neural Networks”. The Conference on Uncertainty in Artificial Intelligence (UAI), 2019

[4] Qi She, Yuan Gao, Kai Xu, Rosa H.M Chan, “Reduced-Rank Linear Dynamical Systems”. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI), 2018.

[5] Qi She, Rosa H.M. Chan, “Stochastic Dynamical Systems Based Latent Structure Discovery in High-Dimensional Time Series”,  IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018

[深度生成模型相关]

[6] Zhengwei Wang, Qi She, Alan F. Smeaton, Tomas E. Ward, Graham Healy, “A Neuro-AI Interface for Evaluating Generative Adversarial Networks”,  workshop on "Bridging AI and Cognitive Science" , International Conference on Learning Representation (ICLR), 2020

[7] Zhengwei Wang, Qi She, Tomas E. Ward， “Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy”， arXiv:1906.01529，2019.

[8]  Zimbardo, Philip G., et al. Psychology: core concepts. Boston: Allyn and Bacon, 2003

备注:Papers

Papers交流群

学术论文撰写交流，会议期刊投稿等信息，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到