作者 | 李翔，国内某互联网大厂AI民工，前携程酒店图像技术负责人，计算机视觉和深度学习重度爱好者，在ICCV和CVPR等会议上发表论文十余篇；马杰超，任职于某医学图像创业公司，医学图像AI领域资深从业者，在MICCAI和Radiology等会议和期刊上发表论文十余篇。

来源 | 视说AI

写在前面

前些天某当红流量明星吸烟的消息在网上引起热议，谈起青少年吸烟尤其是在公共场所吸烟，持不赞成甚至批评态度的人占了绝大多数。吸烟以及所产生的二手烟会对人体的呼吸系统造成伤害，是肺癌的重要致病因素之一。

据统计主动/被动吸烟者肺癌的发病率比普通人高20~25倍，所以对大家来说定期对肺进行深度地检查显得特别的重要。借着这个机会，在这里我们和大家分享一些业余期间在肺部疾病的AI诊断上的实践和探索，希望让大家能够了解AI在肺部诊断上的技术应用，也能够对吸烟/二手烟说再见，更好地珍惜自己的身体。

为什么要用AI来诊断？

肺癌在中国乃至全球范围内，都是发病率及死亡率最高的恶性肿瘤，其早期的表现形式是直径不超过30mm的肺内圆形或不规则形结节。肺结节检测当前主要通过电子计算机断层扫描（CT）检查来实现，低剂量的CT已经成为当前主流的肺结节检查工具。

然而通过医生来诊断肺结节当前存在两方面的困难：1）CT图像是分辨率高的三维断层扫描成像，数据量非常大，每位检查者都会生成上百张图像序列，导致了医生诊断速度慢；2）肺部结节大部分尺寸很小肉眼不易发现，而不同医生的经验存在差异，导致检测结果容易出现偏差。所以引入AI技术辅助医生进行肺结节的定位和识别从而提升对肺结节的检测率显得尤为重要。

AI如何来诊断？

对肺结节的诊断属于一种特殊的分类/检测任务，基于深度学习的图像分类和目标检测算法被广泛地应用在肺结节检测中。当前业界比较常用的是采用预检测+精检测的诊断方式来进行肺结节的检测。

在预检测过程中，一般使用深度卷积神经网络实现肺结节的初步定位，在实际应用中，我们常用U-net网络来实现肺结节的分割，或者使用Faster R-CNN网络来实现肺结节的检测。无论是分割网络还是检测网络，我们最终的目的都是为了获取候选的肺结节区域，从而产生高召回率候选结节池，尽可能地降低肺结节的漏检率。

在精检测过程中，一般用深度卷积神经网络对预检测得到的候选结节区域进行分类以区分肺结节的真假性，比如使用ResNet和基于Inception的一系列分类网络，在这一步中我们希望能够通过深度学习模型更精确地识别肺结节，从而降低误判率。

在实际的肺部CT检查中，每位检查者采集的是肺部的断面或立体图像，往往通常是连续的上百张图像序列，这些图像提供了肺部的完整三维信息。在医生的诊断过程中，往往会同时参考多幅CT图像来综合判断，一组典型的肺部CT图像如上图所示。

所以为了构建连续图像序列之间的上下文信息，模拟医生的诊断方式，常常会将基于2D图像理解的网络扩展为基于3D图像理解的网络。即先利用3D U-net来实现连续图像序列的分割，或者利用3D Fast R-CNN来实现连续图像序列的检测，再利用3D CNN来完成最终的结节分类。

让AI诊断得更准更快

上一节我们介绍了常用的肺结节AI检测方式，但是现有的方法仍然有三个问题摆在我们面前：

1）预检测+精检测的两步建模方式在检测速度上不能让人满意，同时结构也不够优雅，如何能够设计出结构优雅速度理想的模型？

2）连续的肺部CT图像序列，图像之间的关系信息对最终结果的诊断非常重要，如何能够更好地对这些图像之间的关系进行建模？

3）对单独的一张CT图像，因为结节所占的位置往往都很小，如何能够让模型将更多的注意力集中在这些目标上，提升检测的精度？

针对上述三个问题，我们分别做了一些探索。对于第一个问题，我们采用3D SSD检测框架来取代以往的两步建模方式，直接通过一个深度网络输出结节的位置和类别。SSD是一种单阶段的目标检测算法，通过一个网络中直接回归出目标的类别和位置，因此检测速度很快。

SSD利用了Faster R-CNN的候选框概念，同时在检测的过程中，使用了不同卷积层上对应的候选框来检测不同大小的目标。由于肺结节的尺寸很小，所以我们进一步加入了特征金字塔网络结构（FPN），促进了SSD的不同卷积层之间的信息传递，从而保证极小结节的检测效果。

对于第二个问题，我们在网络结构中引入群卷积，考虑各个特征通道之间的关系，让模型自主地去学习价值较高的特征图，同时群卷积的使用也大幅提升了模型的性能。对于第三个问题，我们引入自然语言处理中流行的注意力机制，对于通过群卷积得到的贡献程度较高的特征图，引导网络去关注图中的一些关键信息，弱化一些造成干扰的背景因素。群卷积和注意力机制模块的具体计算流程如上图所示。

最后，我们把这三个问题的解决方案融合在一起，提出了一种基于群卷积和注意力机制的SSD检测模型 Group-Attention SSD（GA-SSD），完整的检测框架如上图所示。我们的方法在漏检率和误检率上都胜过当前的方法。我们可视化了部分肺结节检测的结果，可以看出对于一些很小的结节，我们的模型依然可以检测得很好。

写在最后

不管是主动吸烟和被动吸二手烟都会让我们的肺受到伤害，利用AI来实现肺结节的检测可以较好地提升肺部检查的准确性。通过这篇文章我们介绍了肺结节AI检测的常用技术，也进一步分享了我们在AI检测肺结节上的一些研究成果，更多的细节大家可以在arXiv上搜索《Group-attention single-shot detector (GA-SSD): Finding pulmonary nodules in large-scale CT images》进行查看。最后祝大家都有一个健康的身体，这样才能更好地感受生活的美好。

一些资料：

[1] Group-attention single-shot detector (GA-SSD): Finding pulmonary nodules in large-scale CT images

[2] Attention is all you need

[3] SSD: Single shot multibox detector

推荐阅读

• 不得了！这个 AI 让企业家、技术人员、投资人同台“互怼”

• 空缺近十年，百度宣布王海峰升任CTO

• 各方最新回应！如何看待IEEE官方声明“学术禁令”？

• 数据可视化，还在使用Matplotlib？Plotly，是时候表演真正的技术了（附代码）

• 代码整洁之道-编写 Pythonic 代码

• 谷歌临时工达 12 万，外包程序员的出路在哪里？

• 直接拿来用！灵跃模组机器人硬核评测（编程篇）

• 这些方法解决了数据清洗80%的工作量 | 技术干货

• 敲代码时，程序员戴耳机究竟在听什么？

• 敲诈团伙将黑手伸向宅男, 你在家看不可描述的视频, 竟被骗走100万美元！

点击阅读原文，查看更多精彩内容。