正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾学习》综述

©作者 | 机器之心编辑部

来源 | 机器之心

长尾学习是推动神经网络模型落地的重要范式。在这篇综述中，来自新加坡国立大学和 SEA AI Lab 的学者们首次系统地阐述了深度长尾学习及其方法和应用，并提出了一个新的评价指标以验证现存长尾学习方法对类别不平衡问题的解决能力。

深度长尾学习是视觉识别任务中最具挑战性的问题之一，旨在从大量遵循长尾类别分布的图像中训练出性能良好的深度神经网络模型。近年来，学者们对该问题开展了大量研究，并取得了可喜进展。鉴于该领域的飞速发展，在这篇综述中，来自新加坡国立大学和 SEA AI Lab 的颜水成、冯佳时团队对深度长尾学习的最新进展进行了系统性的梳理和分类讨论，并设计了一个新的评价指标对现存方法进行实验分析，同时也对未来的重要研究方向进行了展望。

论文链接：

https://arxiv.org/pdf/2110.04596.pdf

为什么要重视深度长尾学习？

近年来，深度学习已经成为人工智能领域中最重要的技术之一。因强大的数据特征表达能力，深度神经网络已经被成功应用到众多视觉识别任务中并取得了显著的突破，如图像分类，物体检测和语义分割等。深度神经网络的成功源于其大量的模型参数对任务模式的学习，而这一过程需要大量的标注数据进行模型训练。在传统视觉识别任务中，标注数据的类别分布往往受到人为调整而变得均衡，即不同类别的样本数量无明显差别。

而在实际应用中，自然采集的数据类别通常表现为长尾分布（如下图），即一小部分类别拥有大量的样本，而其余大部分类别只有较少的样本量。然而，这一类别不平衡问题往往使得深度神经网络的训练变得非常困难。如下图所示，在长尾数据下训练的模型容易偏向训练数据中的多数类，即多数类的特征空间往往大于少数类的特征空间，且分类决策边界会向少数类方向偏移以确保更好地分类多数类，这一现象往往导致深度模型在数据量有限的少数类上表现不佳。因此，直接使用经验风险最小化方法来训练深度模型无法处理具有长尾类别不平衡问题的实际应用，如人脸识别，物种分类，医学图像诊断，无人机检测等等。

为了解决这一长尾类别不平衡问题，深度长尾学习旨在从大量遵循长尾类分布的图像中训练出性能良好的深度模型。鉴于类别不平衡问题在现实任务中十分广泛，并且训练数据和测试数据的类别分布差异会极大限制神经网络的实际应用，这一研究课题具有重要的现实意义，是推动深度神经网络实现模型落地的重要范式。

尽管深度长尾学习领域发展迅速，应运而生的大量论文却容易导致学者和算法工程师们迷失在知识的海洋中。为了解决这一问题，该论文首次对深度长尾学习进行了系统性的综述，梳理出了一条深度长尾学习的清晰脉络，从而帮助业界学者和专家更好地理解深度长尾学习，并推动该领域的蓬勃发展。

该综述首先详细地介绍了深度长尾学习的任务设定、数据集、衡量指标、主流网络结构、知名竞赛、以及与其他任务间的关系。随后，该文将现存方法进行分类梳理。如下图所示，现存方法被分为三个主要的类别（即类别重平衡、信息增强和网络模块改进），同时能够被进一步细分为九个子类别。基于该分类法，该论文对现存方法进行了详细的综述和讨论。

其中经典的方法如下表所示。同时作者还整理了一个深度长尾学习论文列表：https://github.com/Vanint/Awesome-LongTailed-Learning

此外，该综述还提出了一个新的经验衡量指标（相对精度），并以此对现存最优的长尾学习算法进行了实验，旨在更好地对比现存方法对类别不平衡问题的处理能力。最后，该文探讨了深度长尾学习的主要应用场景和重要的未来研究方向。

深度长尾学习的主要方法类别

类别重平衡：类别重平衡是长尾学习的主流方法之一，旨在对不同类别的数据量差异进行再平衡。该类方法可细分为类别重采样，类别代价敏感学习和对数几率调整。相较于其他的长尾学习范式，类别重平衡方法相对简单，却能获得相似甚至更好的性能。同时，部分的类别重平衡方法（尤其是代价敏感学习）对于解决长尾类别不平衡问题具有理论分析保证。这些优点使得该类方法成为解决实际长尾问题的重要工具。然而，该类方法的缺点在于，少数类的性能提升往往是以多数类的性能牺牲作为代价。尽管总体性能得到了提升，但该类方法无法本质地解决长尾问题中缺少数据信息的问题，尤其是在少数类上。

信息增强：基于信息增强的方法旨在引入额外信息来增强模型训练，从而提升模型在长尾数据上的学习性能。该类方法可细分为迁移学习和数据增强。因为引入了额外的信息，基于信息增强的方法能够在不损失多数类性能的情况下提升少数类性能。考虑到缺乏足够的少数类样本是长尾学习的一个关键问题，该类方法值得进一步探索。例如，数据增强是一项相对基础的技术，可以同时被应用到多种长尾学习任务中，这使得它非常具有实用性。但是，简单地应用现存经典的、不考虑类别差异的数据增强技术到长尾学习任务中是有局限的：即使长尾学习的整体性能获得提升，但因为多数类的数据量更多，导致多数类的数据增强也更多，从而进一步加剧了类别不平衡问题。因此，如何设计更好的针对深度长尾学习的数据增强方法是一个值得探索的问题。

网络模块提升：除了类别重平衡和信息增强方法以外，学者们也探索了如何在长尾学习中有针对性地提升网络模块，包括：（1）表示学习提升特征特征提取器，（2）分类器设计改进模型分类器，（3）解耦训练促进特征提取器和分类器的训练，（4）集成学习提升整体的网络结构。其中，表征学习和分类器设计是深度长尾学习的基本问题，值得进一步探索。解耦训练在最近的研究中越发受到关注；在该方案中，第二阶段的类平衡分类器微调能带来显着的性能提升，并不会引入太多额外的计算成本。对该类方法的一种批评是，累积的训练阶段会使解耦训练不太实用，难以直接与其他长尾问题中（如目标检测和实例分割）的经典方法相结合。尽管如此，解耦训练的想法在概念上很简单，因此可以很容易地在这些问题中用来设计新方法。最后，与其他类型的长尾学习方法相比，基于集成学习的方法通常在头类和尾类上都能获得更好的性能。这类方法的一个问题是，多个专家的使用会导致模型的计算成本增加。但是，该问题可以通过使用共享特征提取器来缓解，并且以效率为导向的专家分配策略和知识蒸馏策略也可以有效降低计算代价。

深度长尾学习的新评价指标

深度长尾学习旨在处理长尾类别不平衡问题以获得更好的模型性能，通常以测试集精度为衡量指标来评价长尾学习方法的性能及其处理类别不平衡问题的能力。然而，因为模型精度同时也受除类别不平衡问题之外的其他因素影响，所以测试集精度指标并不能准确反映不同方法在处理类别不平衡问题时的相对优势。例如，基于数据增强的长尾学习方法也会提升在类别平衡数据集上所训得到模型的测试精度；在这种情况下很难判断测试精度的提升是来自于类别不平衡问题的缓解还是来自更多数据信息的引入。这也启发大家重新思考：到底怎样才算真正解决长尾学习？为此，该综述提出了一个新的相对精度指标，用于消除非类别不平衡因素的影响，从而更好地衡量长尾学习算法对于类别不平衡问题的实际解决能力。基于这一指标，该综述开展实验对现存长尾学习算法进行了深入分析。

深度长尾学习的未来方向

尽管深度长尾学习已经取得长足的进展，但依然存在许多开放性的问题以待进一步研究。

新方法探索：不依赖于标签统计频率的类别重平衡；基于无标签数据的迁移学习和半监督学习；适用于多个长尾学习任务的数据增强；提升全部类别性能的集成学习。

新任务设定探索：测试集类别分布未知的长尾学习；存在开放类别的长尾学习；联邦长尾学习；类增量长尾学习；多域长尾学习；鲁棒长尾学习；长尾回归；长尾视频学习。

更多阅读

#投稿通道#

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾学习》综述相关推荐

原360首席科学家颜水成正式加入依图科技，任首席技术官
7 月 29 日,依图科技宣布原 360 首席科学家颜水成正式加入,担任依图科技首席技术官(CTO)一职. 依图方面称,颜水成加入后将带领团队进一步夯实依图在人工智能基础理论和原创算法方面的技术优势, ...
颜水成刘嘉：机器学习与认知神经的火花碰撞
我们习惯于用自己熟悉的工具来解决面临的问题. 例如,当想要去探索强人工智能的时候,计算机科学家们想到最直接的方式,便是创建知识图谱(计算机科学家所理解的"常识"),从而将常识与深度 ...
【CCF-GAIR特别报道】深度对话周志华教授和颜水成博士
写文章登录 [CCF-GAIR特别报道]深度对话周志华教授和颜水成博士程程 1 年前深度学习大讲堂致力于推送人工智能,深度学习方面的最新技术,产品以及活动.请关注我们的知乎专栏! 摘要 2016 ...
360副总裁颜水成博士:技术与产品并重，1×1卷积让深度学习更出彩 | CCF-GAIR 2017...
7 月 7 日,由中国计算机学会(CCF)主办,雷锋网与香港中文大学(深圳)承办的CCF-GAIR 2017全球人工智能与机器人峰会在深圳大中华喜来登酒店如期开幕.奇虎360副总裁.首席科学家.IEE ...
颜水成等 | 《深度长尾学习》综述
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 文章转自机器之心编辑部长尾学习是推动神经网络模型落地的重要范式.在这篇综述中,来自新加坡国立大学和 S ...
2022 AAAI Fellow放榜！SAIL首席科学家颜水成、港科大教授冯雁等10人入选
来源:新智元国际先进人工智能协会宣布了2022年度AAAI Fellow的评选结果. 本次共有10人入选,其中华人有2名,分别是香港科技大学的冯雁和新加坡冬海集团的颜水成. Inderjit S. ...
颜水成团队开源VOLO：无需额外数据，首次在ImageNet上达到87.1%的精度
丰色发自凹非寺量子位报道 | 公众号 QbitAI 自打Transformer横空出世以来,它在CV领域就取得了很多不俗的效果. 比如采用纯Transformer架构的ViT在很多图像分类任务 ...
加盟依图科技后，颜水成首篇顶会论文提出“高效多人体姿态检测SPM”
唐木发自天龙寺量子位出品 | 公众号 QbitAI 颜水成团队研究实力依然强劲. 从360到依图,颜水成依然保持着高质量的学术输出. 最近提出的单阶段高效人体姿态检测模型SPM就是最好的例证 ...
北大 AI 公开课 2019 | 颜水成：人工智能行业观察与实践
人工智能领域存在着工业界与学术界的分别,近年来,随着 AI 高速发展,在这两个不同的世界里,分别发生了哪些大事件?作为一家以安全为主要业务的企业,360 又是如何在人工智能时代发挥作用?本期北大公开课 ...

正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾学习》综述

正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾学习》综述相关推荐

最新文章

热门文章