Modeling and Enhancing Low-Quality Retinal Fundus Images

论文阅读
Modeling and Enhancing Low-Quality Retinal Fundus Images 低质量视网膜眼底图像的建模与增强

摘要-眼底图像被广泛用于临床筛查和眼病的诊断。然而，不同经验水平的操作者拍摄的眼底图像在质量上有很大的差异。低质量的眼底图像增加了临床观察的不确定性，导致误诊的风险。然而，由于眼底成像的特殊光束和视网膜的结构，自然图像增强方法不能直接用于解决这一问题。在本文中，我们首先分析的检眼镜成像系统，并模拟一个可靠的降解的主要劣质因素，包括不均匀的照明，图像模糊，和文物。然后，基于退化模型，提出了一种面向临床的眼底增强网络（ cofe - Net ）来抑制全局降解因子，同时保留视网膜解剖结构和病理特征，供临床观察分析。合成和真实图像上的实验表明，我们的算法有效地纠正低质量的眼底图像，而不丢失视网膜细节。此外，我们还表明，眼底校正方法可以受益于医学图像分析应用，例如，视网膜血管分割和视盘/杯检测。

一，引言
由于其安全性和获取的成本效益，眼科医生和计算机辅助诊断系统已广泛使用视网膜眼底图像进行眼科疾病的临床筛查和诊断[1]，[2]。但是，眼底图像的质量往往会发生较大的变化。对5,575名患者的筛查研究发现，眼底图像中约有12％的图像质量不足以被眼科医生识别[3]。在某些情况下，当退化是由于通过内部白内障混浊介质获得的图像而引起的，可以使用增强方法（例如[4]）来恢复“高质量”。然后，校正后的图像可用于支持其他疾病（例如，与年龄有关的黄斑病，糖尿病性视网膜病和青光眼）的观察。然而，除了这种致病性降解之外，在实际应用中，由手工成像设备和恶劣的环境条件引起的外部干扰因素也是常见的。例如，图像通常是在不同的照明环境下，使用各种照相机以及具有不同经验水平的不同操作员拍摄的。因此，眼底图像中低质量因素的常见示例包括照明不均，图像模糊和伪影，这不仅妨碍了眼科医生的可靠诊断，而且还影响了自动化图像分析系统的性能[5]，[6]。图1（a）中显示了一个示例，其中不均匀的照明和伪影会阻止完全/清晰地观察到血管和椎间盘区域，并影响自动血管分割方法的性能（即[7]）。

图1.眼底图像校正示意图。（a）低质量的眼底图像。（b）结果提高了[8]。（c）通过我们的方法增强了结果。第一行显示眼底图像，最下面一行是使用自动化方法进行的相应血管分割结果[7]。我们的方法可以校正低质量的眼底图像，同时增强临床结构（例如血管，视盘和杯状区域）。

近来，常规的图像增强方法已经取得了最先进的性能，特别是随着深度学习技术的发展[9]，[10]。但是，与普通图像不同，视网膜眼底图像是通过特殊的检眼镜成像过程获取的，以捕获视网膜的解剖结构以进行临床诊断，这带来了许多其他挑战。首先，视网膜无法内部照明；入射和反射成像光束都必须穿过瞳孔。此外，眼睛的球面几何形状会产生明显的相互反射，从而产生阴影伪影[11]。其次，眼底图像中的解剖视网膜结构（例如，血管，视盘和杯）是有限的，但是对于临床诊断非常重要，因此应该在校正过程中加以增强。第三，某些病理特征（例如出血，微动脉瘤和玻璃疣）通常只有几个像素宽，并呈圆形，使它们容易与伪影和噪音相混淆。这些问题意味着眼底图像校正方法既需要抑制不良的低质量因素，又要同时保留病理特征，这是常规增强技术无法达到的令人满意的水平。例如，图1（b）显示了使用常规图像增强方法[8]时图1（a）的增强结果，其中光盘区域仍然遭受伪影，并且血管被自动系统错误分割。

为了解决这些问题，在本文中，我们设计了一种退化模型，该模型可以模拟低质量眼底图像的主要因素，包括光传输干扰，图像模糊和视网膜伪影。然后，提出了一种临床取向的眼底增强方法（cofe-Net），以抑制局部离群值和不希望的伪像，同时保留解剖视网膜结构，例如血管和视盘/杯区域。为此，引入了两个新模块，即视网膜结构激活（RSA）和临床低质量激活（LQA）。 RSA模块用于保留视网膜结构，而LQA用于去除低质量因素。基于人类感知机制，所提出的具有附加误差度量以感知伪影的网络能够以更准确的结构校正眼底图像并抑制局部缺陷。通过我们的方法校正的眼底图像的示例如图1（c）所示。本文的主要贡献概括如下：
1）设计了基于视网膜检眼镜的眼底退化模型，以模拟低质量的眼底图像。它可以广泛地用于支持眼底图像生成模型中的典型传播方案。据我们所知，这是对光学检眼镜进行建模的第一项工作。所有降级模型都是基于几个成像阶段设计的。
2）开发了一种新颖的面向临床的眼底增强网络（cofe-Net），以校正低质量的眼底图像，以进行临床观察和分析。我们的咖啡网使用RSA模块保留了眼底图像的视网膜解剖结构，并使用LQA模块抑制了不希望的伪影。
3）我们显示，眼底矫正可以提高临床分析任务的性能，例如在质量较差的图像上进行血管分割和椎间盘/杯检测。在合成眼底图像和真实眼底图像上的实验结果表明，我们的算法与最新方法相比具有良好的表现。

二。相关工作
在本节中，我们总结了当前的图像校正技术，并讨论了专门应用于眼底图像的算法。几种方法[12]，[13]利用图像对比度归一化和对比度受限的自适应直方图均衡（CLAHE）技术来还原图像。例如，Setiawan等。 [14]专门将CLAHE应用于眼底图像增强。某些算法[15] – [17]不仅可以简单地考虑颜色和纹理信息，还可以分解反射和照明，通过在另一种最小化方案中估算解决方案来实现图像增强和校正。Guo等。文献[18]进一步提出了改进照明图和增强弱光图像的方法。这些模型已经扩展到结合了伽玛校正[19]和CLAHE的眼底图像亮度和对比度适应[20]，[21]的集成方案。尽管这些基于自下而上框架的算法有效，但它们的最佳解决方案在很大程度上依赖于全局图像统计信息和映射功能，而忽略了区分性特征，这些特征可能会引入不良的伪像和失真。

另一方面（Along another line），基于学习的方法也被开发用于图像校正任务，利用从图像中提取的各种特征来学习定向滤波器（directional filters）。例如，在基于稀疏度的模型[22]、[23]、分布拟合算法[24]-[26]、变分框架[27]、潜结构驱动方法[28]-[30]中采用潜图像先验进行校正和恢复，也专门应用于眼底图像[31]-[34]。这些算法通常使用正则化格式来约束最优解来解决非凸问题。这可能会导致沉重的计算成本，限制了它们在临床环境中的适用性。

近年来，由于强大的图像表示能力，深度学习技术已广泛用于计算机视觉和医学图像分析中。这使得重建技术得以快速发展，使其具有更好的处理应对各种挑战性任务，例如微光图像增强（low-light image enhancement）[10]，[35]，[36]，去雾和去雨[37]-[39] ，然后对[40]，[41]进行去模糊处理。对于图像校正，基于卷积神经网络（CNN）的方法尝试学习标准情况和低质量图像之间的映射算子[8]，[42]-[44]。 Eilertsen等。 [8]提出了在像素损失的约束下，以端到端的方式解决高动态范围任务。此方法可产生准确的全局色调映射，但会导致解决方案过于平滑。Ren等人。 [42]和Lv等人。 [43]旨在分别使用多尺度框架和特征融合机制，以从粗到细的方式增强图像。此外，Talebi和Milanfar [45]引入了深度神经图像评估模型，并将其用于在极端条件下（例如，黑暗和明亮的区域）恢复更多内容。这些端到端方法旨在通过简单地减少内容损失来学习最佳解决方案。 Liu等人着眼于存储有明确先验信息的图像。 [46]提出了一个深刻的先验合奏和集成的知识驱动的线索，以自然图像增强。与非凸优化框架不同，深度学习方法遵循启发式模式，该模式严重依赖大量训练数据。由于特殊的病理特征和疾病标记，一般基于CNN的模型通常在医学样本（尤其是眼底图像）上表现不佳。为了去模糊和增强临床图像，Zhao等人。 [47]和Liu等。 [48]应用对抗损失。但是，尽管这些方法计算效率高，但它们只专注于生成照片级逼真的图像，而忽略了对临床应用重要的病变区域。因此，为眼底图像校正设计有效的深度学习模型是这项工作的重点。

图2.检眼镜成像系统示意图。它包含一个照明系统和一个成像系统。在实践中，临床成像过程会经历几种类型的干扰，例如曝光和成像异常值，这会给视网膜眼底图像带来意想不到的缺点，并导致图像质量下降。此外，不想要的物体的捕获也是干扰图像质量并影响诊断过程的关键因素。

三，眼底图像退化模型
使用检眼镜在复杂环境中收集临床图像通常会遇到几种类型的干扰，这是在光学前馈系统中引入的。例如，如图2所示，光传输干扰通常是由曝光问题引起的。由于眼睛和相机之间存在间隙，因此杂散光可能会进入检眼镜，与光源混合并导致曝光不均。这也会影响已编程曝光的调整设置，导致整体过度/曝光不足。此外，人为因素（例如眼球移动，颤动和散焦）引起的图像模糊会导致图像质量下降。此外，在成像期间捕获不需要的物体（例如，灰尘）也是降低图像质量并阻碍后续诊断的关键因素。在本节中，我们提出了眼底图像收集过程中发生的干扰的重新表示。我们的退化模型不仅可以用于支持当前的眼底传播模型，还可以合成高质量的成对眼底数据集，以用于后续研究。我们从三个方面总结了干扰，包括光传输干扰，图像模糊和视网膜伪影。

光线干扰：我们首先介绍由光线引起的干扰，可以将其分为两种类型，全局和局部因素。考虑到全局因素，由于现有的眼底照相机是通过自动曝光，因此环境光会影响照明。不稳定的杂散光会影响相机的配置（光源），可能会在图像采集过程中导致曝光不足/过度曝光，此外，主观情况和手动散瞳也会在成像过程中造成干扰。对于局部因素，图像平面上特定区域的灵敏度可能会不同，从而导致图像中的照明不均匀。这可能是由于眼底和检眼镜之间的间隙。由患者引起的主动漏光现象或不适当的曝光入射到成像平面（与光轴的距离不同）将导致照明不均匀。此外，根据检眼镜系统的设备设计，不同的镜头光圈和嵌入式光学补偿机制也可能会限制光量，并影响眼底图像的动态范围。在这里，我们使用聚集模型模拟退化。通过对比度，亮度和饱和度干扰对全局因素进行建模，而将局部因素定义为眼底图像上的其他不均匀照明。为了建立光退化模型，给定地面真实（清晰）图像x，将其具有光传输干扰的退化图像x0定义为：

图像模糊：在眼底成像过程中，除了程序设置引起的问题外，还可能引入操作员错误。由于检眼镜是从外部应用到患者身上的，因此眼底和物平面之间的距离是一个随机变量；眼底镜检查期间光学系统的焦距设置错误，或由光模拟导致的瞳孔散大，可能会导致像面与镜头之间的物体距离不理想，并导致图像模糊。为了模拟这一点，我们将散焦模糊定义为：

视网膜伪影：上述公式化模型模拟了内部因素，这些因素是由成像系统本身引起的。但是，如果在较差的条件下进行成像，则可能会导致其他性能下降。尽管不是加性或乘性噪声，但附着在成像平面透镜上的灰尘和颗粒也会产生模糊图像，从而影响眼底图像质量和后续诊断。我们将这种类型的干扰定义为视网膜伪影，它是通过多步成像过程建模的：

代码没有开源，突然不想整理了。。。。。
未完待续。。。。。
相通过这个方法，在指静脉数据上实验以下。。。。。
早日开源。。。。。

Modeling and Enhancing Low-Quality Retinal Fundus Images相关推荐

A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images
A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images ...
Using HumanVisual System modeling for bio-inspired low level image processing
摘要在本文中,我们提出了一种图像处理方法,即所谓的"基于生物视觉的方法". 基本思想是通过对人类视觉系统(HVS)的某些部分进行建模来复制人类视觉系统(HVS),以开发低级图像处 ...
Modeling in Blender: Low Poly Car
软件环境 Blender 2.79b Render Results 转载于:https://www.cnblogs.com/benxie/p/11358601.html
Semi-supervised Segmentation of Optic Cup in Retinal Fundus的解读
本文的工作主要说明了目前采用分割方法对于青光眼的诊断中,边界不明显的optic cup相比optic disc更难分割,因此这里只考虑optic cup的分割:本文方法的主要贡献点在于利用大量无标签数 ...
Semi-supervised Segmentation of Optic Cup in Retinal Fundus
在眼底影像中青光眼的半监督分割摘要主要说明了目前采用分割方法对于青光眼的诊断中 ...
Holistic Recognition of Low Quality License Plates by CNN using Track Annotated Data 翻译
通过CNN使用跟踪注释数据整体识别低质量车牌摘要本文专注于识别低分辨率和低质量的车牌图片.我们提出了一个收集现实世界(非合成)有标注的低质量车牌照片的数据集的方法.我们的车牌识别方法是基于一个从整 ...
Cascade R-CNN: Delving into High Quality Object Detection（个人学习笔记）
论文基本信息标题:Cascade R-CNN: Delving into High Quality Object Detection 作者:Zhaowei Cai,Nuno Vasconcelos ...
Quality control of sequencing data
What is quality control? 质控是从数据删除可辨认错误从而提高数据质量的过程,是拿到数据后的第一步工作. How critical is quality control? The ...
外贸英语900句之品质Quality
(一) The goods are available in different qualities. 此货有多种不同的质量可供. Nothing wrong will happen, so long ...
【论文解析】Cascade R-CNN: Delving into High Quality Object Detection
论文链接 CVPR2018的文章.和BPN一样,本文主要关注的是目标检测中IoU的阈值选取问题,但是BPN主要针对的是SSD等single-stage的detector,感兴趣的童鞋可以看我的另一篇博 ...

Modeling and Enhancing Low-Quality Retinal Fundus Images

Modeling and Enhancing Low-Quality Retinal Fundus Images相关推荐

最新文章

热门文章