点击我爱计算机视觉标星，更快获取CVML新技术

关于计算机视觉在医疗影像领域的应用，52CV曾有多篇相关博文：

疟疾检测-Keras深度学习医学图像分析
AI医疗 | 新开源计算机视觉技术用于新生儿胎龄估计
NIHCC发布迄今世界最大的CT医学影像数据集（附下载）
Kaggle新上比赛：胸部X光片肺炎检测

今天跟大家分享的文章，原作者美国伦斯勒理工学院生物医学影像中心的王革教授介绍了深度学习用于医学影像超分辨的工作，让我们一起看看新算法如何成为医学影像处理的“魔术棒”。

引言

深度学习在去噪和超分辨领域逐渐成熟。本期文章是我们公众号团队的医疗影像专家王革教授关于超分辨的一篇解读，原文是英文，发布于：

http://everydaymatters.rpi.edu/artificial-intelligence-makes-medical-images-clearer/#.XAFYW-hKhEY

王革教授之前的文章自动驾驶车载成像仪也很有意思，感兴趣的同学可以一并阅读

为了诊断，中国古代医生使用望闻问切四个步骤。作为第一步，通过观察舌头和皮肤，古代医生可以知道患者健康状况的信息。

事实上，我们对许多事物的印象来自于我们的视觉。现代医学依赖于高科技成像设备，如计算机断层扫描（CT）和磁共振成像（MRI）扫描仪。

这些扫描仪是超级眼睛，可以非侵入性地窥视人体内部并且制作器官的横截面图像。

由于病理特征在早期通常很小，所以我们希望得到尽可能清晰的CT和MRI图像，以便于医生观测到相关特征，甚至细微纹理。

然而，对图像清晰度的要求越高，成像扫描仪则越复杂，进而医疗费用越昂贵。

我们能以某种方式使已获取的医学图像更清晰吗？使图像更清晰，更锐利或某种标准下更好，这不是一个新想法。

在过去的几十年中，称为“图像处理”的技术分支已经被广泛研究了。图像处理是使图像数字化，然后使用图像处理方法（也称为算法）在数字计算机上对其进行加工。图像处理将图像转换为改进的形式，其中图像特征能被更好的呈现，例如突出边界或抑制噪声。

使图像更清晰，更接近真实图像是图像处理的一个特殊主题，称为去模糊或超分辨率成像（一些研究人员认为去模糊和超分辨率不一样：去模糊使用相同尺寸的图像像素使得模糊图像更清晰，而超分辨率成像则减少相同视野的图像像素大小并使图像更清晰。

由于这两个任务密切相关，在这篇博文中我们将无差别的使用这两个词）。这里的“分辨率”是一个术语，表示小目标可以多紧密地被放在一起，同时它们仍然可以在图像中被识别出来。

而“超分辨率”成像意味着我们可以通过图像处理使得来自系统的图像可以变得更清晰以至于比成像系统的原始分辨率更好。我们怎么能实现这一目标呢？

为了计算，我们基本上要执行四个操作：

（1）加法（2）减法（3）乘法（4）除法

粗略地说，这些操作在小学算术中处理数字，在高中数学中处理变量，在高等数学中则表现为所谓的算符，像积分，卷积，求逆等等。

Figure 1. 图像模糊是由不完美的测量系统导致的，在某种程度上，模糊可以由算法来去除。

当使用真实成像系统对微小的明亮物体成像时，由于成像系统不能完美地描绘现实世界的物体，因此这个小物体将在图像中显示为模糊点。

这种模糊过程通常可以表达为“卷积”操作。卷积实际上是伪装的乘法，它是涉及的对象和成像系统特征的特殊乘法。因此，去模糊必须通过一种能解除卷积的相应除法来完成。

但是，特征在模糊过程中会受到影响，甚至会被消除（相当于将某些特征被设置为零）。

因此，恢复受损特征是相当具有挑战性的（考虑一下：当A和0相乘必得0，你怎么能用零作为分母从零商中恢复A？）。

最近，机器学习，尤其是深度学习，变得非常热门，因为它在图像处理和计算机视觉方面取得了巨大的成功（让配备摄像头的机器人或计算机能够看到我们能看到的东西）。

我们的人类视觉系统令人惊叹：当你在森林里看到一匹被树木阻挡的马时，你可以完整地感知这匹马（Figure 2）。

Figure 2. 人类的想象力可以将被遮挡的马的部分复原，因此使用人工智能技术的电脑应该也可以这样做。

在这种情况下，您可以这样做是因为您对树木和马匹有广泛的了解，并且在上下文中具有视觉推理能力，您可以自信地推断出马的被阻挡部分应该是什么。

现在我们可以通过使用深度学习技术的图像处理方法来实现这种视觉感知。具体而言，可以设计和训练深度人工神经网络，以模仿我们负责视觉的生物神经网络，使用由大量低质量（受阻或其他方式受损）和相应的高质量图像组成的大数据集（例如，未被阻挡马匹）。

在深度人工神经网络训练之后，人工神经网络系统就可以成为该应用领域的专家：每当向网络提供低质量图像时，它将使用网络中互连的人工神经元（其为基本计算单元）处理图像，并且最终形成高品质的对应图像（例如，部分阻挡的马可以被自然地处理成未被阻挡的马）！

在2016年，我们写了一篇观点文章：

A perspective on deep imaging[J]. arXiv preprint arXiv:1609.04375, 2016.

基于这篇文章， 我们撰写申请了相关技术专利并编辑了IEEE TMI特刊，专论机器学习与图像重建。

在这篇文章里：我们展示了一个机器学习的超分辨成像的例子。最近我们RPI的生物医学影像中心发布了两篇关于CT和MRI超分辨的arXiv文章[1-2]。

传统的方法做超分辨成像仅仅得到有限的效果提升，但是深度学习方法可以明显做得更好。

在我们的初步结果中有100%甚至200%的分辨率提升 （Figure 3）。我们正在积极地开展这项工作，例如用于显微CT和显微MRI，以及光学显微成像。

简而言之，超分辨率深度学习可以令人信服地使现有图像更加清晰，进而可能将低端成像设备得到的图像转变为主流设备的图像。

这种方法的经济和生物医学意义是巨大的; 例如，可用于诊断肺癌和结肠癌，脑肿瘤，或其他病症。我们欢迎这一领域的合作或应用机会！

Figure 3. 我们在CT和MRI上的初步结果显示有100%到200%的分辨率改善

【1】You, C., Zhang, Y., Zhang, X., Li, G., Ju, S., Zhao, Z., ... & Wang, G. (2018). CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble (GAN-CIRCLE). arXiv preprint arXiv:1808.04256.

【2】Lyu, Q., You, C., Shan, H., & Wang, G. (2018). Super-resolution MRI through Deep Learning. arXiv preprint arXiv:1810.06776.

论文下载

关注并在“我爱计算机视觉”微信公众号对话界面回复“AIBIOSR”，即可收到文中论文的百度云下载。

另外，52CV曾经分享过一篇自然图像超分辨的工作，NTIRE2018图像超分辨率比赛的冠军方案，代码已开源，研究SR的同学不容错过！

这可能是目前最好的图像超分辨率算法，刚刚开源了

加群交流

医学影像处理与识别在国内交流平台较少，52CV君已经建了一个专业群，扫码添加52CV君拉你入群：

（请务必注明:医学影像）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：928997753。

（不会时时在线，如果没能及时通过验证还请见谅）

加入其他52CV-专业交流群请关注并在“我爱计算机视觉”公众号对话界面回复“加群”。

最后强烈推荐！更多前沿计算机视觉技术请浏览：

52CV精华文章分类汇总（2018年12月1日）

长按关注我爱计算机视觉

【点赞与转发】就是一种鼓励