感谢阅读腾讯AI Lab微信号第87篇文章。本文将解读2019年医学影像AI领域国际顶会MICCAI中腾讯AI的入选论文。

医学影像AI领域的国际顶会 MICCAI 2019 将于10月13-17日在深圳举办。本届大会吸引了来自20个国家、134所全球顶级科研高校的权威研究团队，论文投稿数量创历史新高（上升63%）。大会秉承严苛标准，不仅看重方法上创新，更强调其临床价值，最终录取率约为 30% 。

大会内容覆盖计算病理学、脑疾病诊断、超声成像分析、智能化手术引导等多个领域，不仅关注疾病诊断，更强调疾病智能化的治疗引导，如智能化放射治疗及基于增强现实的手术引导策略等重点领域，同时还在深度学习、迁移学习、统计图谱、域自适应等热点方向开展专题研讨。

此次腾讯 AI 共计入选 8 篇论文，含腾讯 AI Lab 4 篇，腾讯优图实验室 4 篇，涉及病理癌症图像分类、医学影像分割、CT病灶检测等。以下为具体解读——

1．借助其他数据集辅助医学图像分类：评估迁移学习、多任务学习、半监督学习

Leveraging Other Datasets for Medical Imaging Classification: Evaluation of Transfer, Multi-task and Semi-supervised Learning

关键字：半监督学习，多任务学习，迁移学习

本文由腾讯AI Lab独立完成。基于深度学习的医学图像分类的一大挑战是训练数据少，一个解决方案是利用其他已有数据集辅助训练，包括利用其他任务有标数据的迁移学习、多任务学习，和利用同一任务无标数据的半监督学习。目前每个方法各自证明有效，但是否能结合以及每个方法适用场景还未知。

本文将三种方法整合在统一框架中，从而叠加各方法的贡献，并能公平对比不同场景下各方法的贡献。本文将半监督学习前沿的一致性约束算法（包括VAT和PI-model），和广泛采用的多任务学习算法（hard parameter sharing），整合在一个网络中（见下图），采用交替任务的方式进行端到端的训练，通过初始点的设定融入迁移学习。

在胃镜图片良恶性分类问题上的一系列实验说明：单独使用时迁移学习提升性能最显著；迁移学习基础上，多任务学习在项目早期数据量较小时可进一步提高，而半监督学习可在较大数据量上持续提升；三者组合并利用大参数量网络可获得更好性能。本文可用来指导如何单独或组合使用迁移学习、多任务学习和半监督学习来提升医学分类模型的准确率。

2．针对H&E染色图像色彩归一化的增强循环生成对抗网络

Enhanced Cycle-Consistent Generative Adversarial

Network for Color Normalization of H&E Stained Images

关键字：病理图像处理， 色彩归一化， 生成对抗网络

本文由腾讯AI Lab独立完成。由于制片染色流程以及病理扫描仪的不同，数字病理图像的色彩存在非常显著的差异。因此，几乎所有数字病理相关的分析之前都需要进行色彩归一化。尽管目前已有多种针对数字病理图像色彩归一化的方法被提出，大部分方法都依赖于选择色彩模板。当模板与输入的病理图像不匹配时，色彩归一化将出现问题。

本文提出一种针对病理图像特点优化的循环生成对抗网络。该网络引入了额外的输入，会引导生成器的产生特定色彩风格的病理图像，从而稳定训练过程中的循环一致性损失函数。

通过Beer-Lambert定律对H&E染色图像的描述，利用矩阵分解求得两种染料各自的色彩表征（染色矩阵）。将H&E的色彩表征与循环生成对抗网络相结合，定向的引导生成器产生特定色彩风格的病理图像，使生成对抗的循环成立。训练完成的网络不需要额外色彩模板即可对病理图像进行色彩归一化。

将本文提出的色彩归一化网络作为癌症分类任务的前处理，相比与其他色彩归一化方法，可以更好的提升后续任务的性能。此外，本文提出的网络在训练完成后，可以不经过参数微调(fine-tune)而直接在其他组织来源的病理图像上使用，具备极强的泛化能力（见下图）。

上图：测试数据来源于5个不同的医学中心，本文提出的方法能将这些病理图像都归一化到相近的色彩风格。

下图：将训练好的模型不经过参数微调(fine-tune)直接在其他病理数据集上测试，同样能进行准确的色彩归一化。

本文提出的色彩归一化方法不依赖于模板，且能够泛化到其他组织的病理图像上，显著减小色彩不一致对病理算法的影响，增强病理算法的泛化能力，进一步推进病理相关算法的研究和应用。

3．修正交叉熵与上跃迁惩罚：用于弱监督的病理图像分类器训练

Rectified Cross-Entropy and Upper Transition Loss for Weakly Supervised Whole Slide Image Classifier

关键字：病理诊断，深度学习，弱监督学习

本文由腾讯AI Lab主导，与中山6院合作完成。病理图像的分类对癌症诊断至关重要。基于深度学习的分类器的训练往往需要大量的标注数据，而病理图像的组织区域标注需要专业知识，较难获取。如果能不依赖额外标注，仅使用临床诊断结果来训练分类器，可以大大加快相关应用的开发。

本文提出了一种仅使用临床诊断结果作为弱监督信号来训练分类器的方法，对从病理图像中拆分出的瓦块进行自动分类。针对病理图像的特点，本文首次提出了修正交叉熵与上跃迁惩罚这两种损失函数。训练过程中，样本被逐渐分离成与诊断结果相关、无关、以及潜在相关三组，修正交叉熵实现了对三组数据的区分对待从而在有效获取训练信号的同时降低了无关数据对训练的干扰。对于部分正常组织会被误分类为病变组织的情况，上跃迁惩罚函数提供了额外的抑制信号，大大降低了这种情况的发生概率。

基于该方法训练出来的分类器，在测试样本上对正常组织、腺瘤、腺癌的分类取得了100%的准确性，检测出来的癌症区域也与专家经验相一致（见下图）。该方法可加速病理图像分类器的开发，通过结合智能显微镜，可以为临床医生提供实时的诊断意见，降低误诊的发生。

4．从全视野数字切片到显微镜：针对病理癌症图像分类的深度显微镜迁移网络

From Whole Slide Imaging to Microscopy: Deep Microscopy Adaptation Network for Histopathology Cancer Image Classification

关键字：迁移学习，无监督领域自适应，深度学习

本文由腾讯AI Lab主导，与华南理工大学、中山大学附属第六医院合作完成。基于深度学习的病理图像分类对癌症诊断至关重要。然而，深度神经网络的训练往往需要大量的标注数据，而针对显微镜病理图像的标注需要专业知识，较难获取。如果能借助相关任务的带标签数据，帮助无标签的显微镜图片训练深度神经网络，可以大大加快相关应用的开发。

本文提出了一种无标签领域自适应算法来训练具有领域不变性的深度神经网络，从而通过探索全视野数字切片的标注信息解决无标签显微镜图像的分类任务。

针对病理图像的特点，本文不仅有效处理了显微镜图像和全视野数字切片图像的域间差异，同时还较好地解决了图像的域内差异（即类别不一致性）和类别不平衡问题，从而成功训练得到具有领域不变性的深度神经网络，有效地解决了显微镜图像的分类任务。

基于该方法训练出来的深度神经网络，在不使用任何带标注显微镜数据的情况下，在显微镜任务上取得了极为优异的性能，甚至超过了使用部分带标注数据训练的神经网络。

该方法可利用相关任务的标注数据训练在目标任务上表现良好的深度神经网络。通过结合全视野数字切片的标注，可以为日常使用智能显微镜的临床医生提供实时的诊断意见，降低误诊的发生。同时，该方法也可应用于其他医疗分类任务，甚至自然图片的分类任务中。

深度显微镜迁移网络结构图。主要由3个部分组成：特征提取器，分类器和领域判别器。同时，本方法提出三个损失函数来训练网络：domain loss用于解决域间差异；entropy loss解决域内差异；focal loss解决类别不平衡问题。

5．基于共轭全卷机网络的成对语义分割

Pairwise Semantic Segmentation via Conjugate Fully Convolutional Network

关键字：语义分割，成对分割，共轭卷积网络，代理监督

本文由腾讯优图主导，与西安交通大学合作完成。医学影像分割是医疗AI领域一个非常重要的任务。然而，好的分割性能往往依赖于大量的标注数据，这在现实应用中成本是非常昂贵的。另一方面，医学影像包含大量的结构化信息，这些结构化先验可以为分割任务提供额外的监督。本文主要关注一个问题：如何在有限的标注数据下，充分利用医学影像的结构化信息，有效提升分割性能？

为此，本文提出一种成对分割的框架来解决上述问题。这一框架可以有效挖掘医疗影像切片间的关系，并以代理监督的形式加以约束。

实验结果表明，该方法通过不同切片之间配对，一方面大幅地提升了标注数据的数量，另一方面，有效地提升了相邻切片预测结果的光滑性和一致性。该方法可用于标注数据不足的条件下进行语义分割这一现实场景中，可以通过有效挖掘先验知识以弥补数据量不足的问题。

本文提出的网络结构图。主要由3个部分组成：一个共享的编码模块、解码模块和融合模块。网络接收2个不同切片作为输并输出它们对于的分割结果。此外，融合模块用来拟合一个额外的代理监督，以此建模切片间的结构先验。

6．利用深度金字塔网络和多尺度助力机制进行CT病灶检测

Attentive CT Lesion Detection Using Deep Pyramid Inference with Multi-Scale Booster

关键字：病灶检测，深度学习，注意力学习

本文由腾讯优图实验室主导，来自吉林大学的实习生参与。CT病灶检测对于医生诊断疾病非常重要。目前基于深度学习的检测方法使得病灶检测能够自动化。但由于个体的差异，不同病灶尺寸差异巨大，导致目前检测方法在病灶检测上准确率有限。此外，由于CT图像含有的3维信息，为了提高准确率，目前多数方法采用3D网络，导致检测速度较慢。

本文提出了一种利用通道和空间注意力机制的多尺度检测器，使得在2D检测网络上达到比3D检测网络更准确的结果。针对不同病灶尺度差异巨大的问题，本文使用不同感受野的空洞卷积操作来捕获不同尺度的信息。将含有不同尺度信息的特征图连接起来，利用通道和空间注意力操作，自动学习，过滤掉空洞卷积带来的无效信息，提取对病灶检测重要的语义信息。

基于该方法训练出来的检测网络，在测试样本上平均敏感度比其他检测方法提高了7.4%；在检测尺寸特别小和尺寸特别大的病灶上，分别提高了8%和14%。我们的方法在检测各种尺度的病灶下，都没有漏检和误检，如下图。

该方法首次在2D检测网络上达到了比3D更准确的结果，使得检测效率更高，为后续病灶检测方法的研究提供了坚实的基础。此外，该方法可以为临床医生提供实时的病灶检测结果，提高医生分析CT图像的效率。

7．基于魔方复原的三维医疗图像自监督学习方法

Self-supervised Feature Learning for 3D Medical Images by Playing a Rubik's Cube

关键字：自监督学习，预训练方法，三维医疗图像

本文由腾讯优图实验室主导，来自清华大学的实习生参与。不同于自然图像，医疗图像（如CT，MRI）往往为三维数据。该类数据存在标注难度大，标注信息难以获取等问题，这导致标注的三维医学图像数量通常不足以很好的训练深度学习网络。

本文提出了一种深度挖掘原始数据信息的自监督学习方法。该方法通过模拟魔方复原过程（如下图所示），使网络自发的在原始数据中提取有用信息。

目前在已有很多工作针对二维图像及二维深度学习网络提出了自监督学习方法。但尚未有工作针对三维医学图像及三维深度学习网络给出合适的自监督学习方案。相较二维自然图像，三维医学图像的标注更难获取，这使得自监督学习在三维医学图像处理领域有很大的应用前景。本文提出的三维自监督学习方法希望能弥补业内的研究空白，帮助提升相关医学图像处理任务的准确率。

本文所提出的方法在两个目标任务（脑出血病因分类和脑胶质瘤分割）上进行了验证。实验结果表明该方法能够明显提高三维深度学习网络在目标任务上的准确率。

本文创新地利用模拟魔方复原过程作为预训练任务，让三维深度学习网络自发的在原始数据中学习到有用的特征，从而减少深度学习网络对数据量的需求，提高后续监督任务的准确率。

模拟魔方复原过程的自监督学习框架。该框架包含两个操作：打乱立方块顺序及旋转立方块方向。

8．基于空间激活机制和多任务框架的视网膜血管分割和动静脉分类

Multi-Task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification

关键字：眼底血管分割，动静脉分类，深度学习，多任务学习

本文由腾讯优图实验室主导，来自厦门大学的实习生参与。眼底血管是人体唯一一处可以直接无介入观测的血管，很多全身性的疾病和心脑血管疾病都会影响眼底动脉和静脉的形态。因此，自动化的血管分割和动静脉分类具有重要的临床意义。然而，传统动静脉分类的方法过程繁琐，耗时很长，且分类的精度严重依赖于初始血管分割的结果。

针对传统方法的弊端，本文将深度学习和多任务模型引入血管分割和动静脉分类任务，同时实现端到端的动脉、静脉及全血管的分割和分类。

针对动静脉分类，设计了一个独特的多任务输出模块，分别输出血管分割和动静脉分类的结果；并且创新性地设计了一个空间激活机制，用较为简单的血管分割任务去辅助较为复杂的动静脉分类任务，增加分割结果中毛细血管相关区域的权重，使网络能够更好的对血管进行分类。

在DRIVE公开数据集上达到了95.7%的血管分割精度和94.5%的动静脉分类精度，在这两个任务上同时达到了state-of-the-art的效果。

本文提出的基于空间激活机制的多任务血管分割和动静脉分类框架，极大的提高了眼底血管分类的精度和预测速度，实现了端到端的血管分割和动静脉分类。为眼底血管的精确量化打下了基础，进而可以促进全身性疾病和心脑血管疾病在眼底生物标记的相关研究。

动静脉血管分割和分类效果图。(A)原始图片；(B)(E)血管分割和动静脉分类标签；(C)(F)模型预测结果；(D)(G) 局部细节放大图。

* 欢迎转载，请注明来自腾讯AI Lab微信（tencent_ailab）