Automatic detection and segmentation of optic disc and fovea in retinal images

自动检测和分割视网膜图像中的视盘和中央凹

摘要：由于许多病理与这些特征相关，因此从视网膜图像中提取特征已在全球范围内普及。这些功能的自动检测使专业眼科医生可以更轻松地分析这些功能，而无需花费大量时间手动对其进行细分。所提出的方法使用基于直方图的模板匹配结合视网膜图像中血管信息的最大和来自动检测视盘（OD）。通过使用圆形霍夫变换来分割OD区域。为了检测中央凹，将视网膜图像均匀地分成三个水平条，并选择包括检测到的OD的条。然后使用一系列图像处理步骤来增强包含OD区域的水平条的对比度。首先使用各种形态学操作和相关成分分析在OD条中检测黄斑区域。中央凹位于该检测到的黄斑区域内。在七个公共数据库和我们本地开发的奥克兰大学糖尿病视网膜病变数据库（UoA-DR）上进行测试后，所提出的方法可实现OD检测精度超过95％。平均OD边界分割重叠评分，敏感性和中央凹检测准确度分别为0.86、0.968和97.26％。

1介绍

过去几年，自动视网膜图像分析（ARIA）一直是重要的研究领域。造成这种情况的主要原因是，越来越多的病理学被证明与视网膜特征有关。视网膜是神经系统唯一可见的部分，并携带与不同病理相关的重要信息。因此，甚至像阿尔茨海默氏症这样的与神经系统疾病有关的疾病也被证明与视网膜特征的结构有一定关系[1]。也可以使用视网膜各种特征中包含的信息来诊断许多病理，例如糖尿病性视网膜病变（DR），高血压，青光眼等[2]。 ARIA方法的非侵入性性质使其对患者更加友好。

视网膜的重要特征对于开发此类自动诊断系统具有重要意义，包括视盘（OD）或视神经头（ONH），ONH中心（视网膜血管起源的点），视网膜血管，黄斑区域，中央凹以及与不同病理相关的特征，例如微血管病变，包括渗出液，出血等。

OD的分割在诊断增生性糖尿病视网膜病变（PDR）中很重要，其中受影响的OD将显示其上有密集的新血管网。同样，一旦OD被分割，通过取杯与盘的直径比（CDR）和杯与盘的面积比（CAR），就可以发现青光眼的患病率[3]。如果一个人患有青光眼，则视杯的大小会逐渐增加，当它完全覆盖OD时，患者将完全失明。 OD细分有许多间接用途。关于OD在视网膜图像中的位置的信息可以帮助分割来自视网膜的其他特征。由于黄斑区域沿视网膜裂隙与ONH几乎保持恒定的距离，因此ONH的分割可以帮助检测视网膜图像中的黄斑区域。中央凹是黄斑的中央区域，然后可以通过获取检测到的黄斑区域的质心来轻松定位。黄斑和中央凹的分割可以帮助诊断非增生性糖尿病视网膜病变（NPDR）。黄斑区微血管病变的存在表明NPDR的患病率。图1反映了视网膜图像中的重要结构。 ONT的位置还可以帮助检测主要颞弓（MTA），因为MTA源自ONH，并且几乎沿着抛物线到达黄斑。同样，由于OD的外观与明亮的渗出液相似（NPDR的特性），因此可以在进行渗出液分割之前掩盖检测到的OD，以避免将OD像素误分类为渗出液。

由于影响使用非散瞳相机进行的视网膜成像的各种因素，这些特征的自动检测和分割可能非常具有挑战性。由于这些照相机引入的伪像，这些视网膜图像中的对比度和照明可能会有所不同。同样，这些相机实现的视场（FOV）也不同。

在我们以前的工作中，我们已经开发了一种从视网膜图像中分割视网膜血管的自动方法[4]。与其他现有技术相比，该方法能够以更高的准确性和灵敏度对视网膜血管进行分割。在本文中，提出了一种新颖，简单的方法来自动检测和分割OD和中央凹。该方法开始于ONH的检测和分段。然后使用该ONH位置信息，检测中央凹区域。使用提出的方法获得的结果在ARIA领域非常有前途，可用于开发诊断各种病理的自动方法。本文讨论的主要贡献如下：

i. 如第4.1节和第4.2节所述，介绍了一种精确的自动OD中心检测方法，与文献中的其他方法不同，该方法以两个精度级别检测OD中心。粗调和微调。
ii. 提出了一种自动OD边界检测技术，将在4.2节中详细介绍。
iii. 在第4.3节中详细介绍了一种在视网膜图像中的中央凹检测的新方法。
iv. 创建了由200张视网膜图像组成的新型视网膜图像数据库，称为奥克兰大学糖尿病视网膜病变（UoADR）数据库，其详细信息在第3节中给出。

图1受DR影响的视网膜的样本图像显示了ONH中心和边界，视杯，中央凹，黄斑，MTA，渗出液，出血和视网膜裂隙

论文结构如下。第2节概述了目前用于从视网膜眼底图像中分割ONH和中央凹的各种技术。第三部分详细介绍了本研究中使用的各种数据库的信息。第4节详细介绍了该方法。在第5节中报告了该算法的性能并将其与其他最新方法进行了比较。第6节总结了本文。

2相关工作

文献中报道了许多方法，这些方法用于自动从视网膜图像中提取各种特征。这些方法中的大多数集中于仅对一个特征的检测或分割。只有在第2.3节中讨论的几种方法可以检测OD中心（而不是OD边界）以及中央凹。但是，我们的工作能够检测并分割OD中心，OD边界和中央凹，这是ARIA涉及的最重要特征。在[4]中，我们还提出了一种分割视网膜血管的新方法。本节介绍了用于检测和分割OD和中央凹的常用方法。

2.1 OD检测与分割方法

2.2黄斑和中央凹的检测和分割方法

2.3同时检测OD和中央凹

提议的方法与本节中提到的其他方法不同，因为它是无监督方法，而其他方法则采用有监督方法。所提出的方法能够准确地检测和分割以黄斑为中心和以OD为中心的图像中的OD和中央凹。提议的方法也可以很好地与视网膜图像一起使用，如以出血，微血管病变和渗出液的形式显示病理迹象，如第5.1–5.3节所述。该方法在来自七个公共数据库和新的UoA-DR数据库的2364视网膜图像上进行了测试，目的是使用第5节中介绍的其他各种最新方法对性能进行评估和基准测试。

3视网膜图像数据库

为了验证结果，我们使用了七个公共数据库和一个本地数据库。使用的公共数据库为DRIVE [6]，DIARETDB0 [33]，DIARETDB1 [13]，CHASE [34]，MESSIDOR [12]，STARE [7]和IDRiD [35]。 DRIVE（用于血管提取的数字视网膜图像）数据库由40个视网膜图像组成，其中33幅图像是健康的，其余7幅图像受到某些病理的影响。用于捕获这些图像的眼底照相机的FOV为45∘，该数据库中图像的分辨率为565×584。STARE（视网膜的结构化分析）数据库是通过扫描和数字化视网膜图像而创建的。因此，与其他公共数据库相比，该数据库中的图像质量较差。 STARE数据库的图像的FOV窄为35∘，尺寸为700×605像素。它是唯一包含PDR图像的公共可用数据库。 ............

4 Proposed method

所提出的方法包括三个主要步骤。粗略的ONH中心检测，微调的ONH中心和边界检测以及中央凹检测，在图2所示的详细框图中以阴影表示。

4.1粗略的ONH中心检测

这是所提出方法的最重要步骤。此步骤的输出精度决定了所提出方法的整体性能。
OD或ONH是视网膜上神经节细胞轴突（位于视网膜内表面上的神经元，从视杆和视锥等感光体接收视觉信息的区域）聚集并离开眼睛的区域。 OD可以近似为圆形，其水平直径为1.7mm，垂直直径为1.9mm。由于它没有色素上皮细胞，因此它是健康视网膜中最亮的区域。 OD也没有负责视力的任何感光细胞。因此，OD被认为是视网膜上的盲点[43]。

如上所述，OD或ONH是视网膜图像中最亮的区域。大多数最新的OD检测方法都使用此先验信息在视网膜图像中定位OD。但是，当视网膜图像包含许多明亮的病变时，这些方法会遭受挫折，这些病变是受NPDR影响的视网膜图像的特征。所提出的方法不仅将注意力集中在视网膜图像中的亮像素（最高强度）上，还整合了强度信息（使用平均直方图模板匹配）和脉管系统密度（在OD处存在最高血管密度）的线索。粗略ONH中心检测包括以下部分。

4.1.1创建平均直方图模板

在这一步中，我们采用了类似于Dehghani等人的方法。 [16]。我们没有使用RGB图像作为模板，而是为三个不同的颜色通道（R，G和B）创建了基于直方图的平均模板。为了创建这样的模板，我们首先选择60张图像（来自DRIVE数据库的20张图像和来自STARE数据库的40张图像），而不是Dehghani等人使用的4张图像（来自DRIVE数据库）。 [16]。选择图像的方式应使其既包括健康类别，也包括疾病类别。图像数量限制为60，因为我们观察到通过将图像数量增加到60以上，在OD中心检测精度方面没有取得太大的改善。此外，从DRIVE和STARE数据库中选择了图像，因为这两个数据库包含更好的视网膜图像集合，包括OD，且照明和对比度的变化较小。另外，这两个数据库是当前研究界广泛使用的公共数据库。为了减少对比度和照度变化的影响并减少噪声，我们使用大小为8××8的平均滤波器对60张图像中的每张进行了滤波。 OD（70××70），则从这60张图像中分别对OD进行分割，以形成模板数据库。

创建数据库后，获取每个模板图像的三个独立层（R，G和B）的直方图，以形成三个独立的直方图红色，绿色和蓝色。然后，我们分别在60个模板图像上对这三个直方图求平均，以获得三个平均直方图（Histred，Histgreen和Histblue）。以下等式说明了这些步骤：

然后，将这三个平均直方图存储在模板数据文件（Tmp）中，该文件在ONH中心检测的最后一步中用作4.1.3节中的平均直方图模板。计算模板数据库中OD模板图像的平均大小（Tempavg），该大小也将在ONH中心检测第4.1.3节中使用。

4.1.2主要血管分割

使用我们先前有关视网膜脉管系统分割的工作中提出的方法，从输入的视网膜图像中分割出主要血管[4]。

将输入的视网膜图像调整为500×500，以获得Iorig，然后将其转换为CIELab颜色空间[44，45]。调整图像大小以标准化所建议方法的输入图像分辨率（来自不同数据库的视网膜图像具有不同的分辨率）。这也有助于降低所提出算法的计算复杂度。由于“ L”（亮度）层可提供更好的对比度和更多的结构信息，因此选择该层进行进一步处理。在此“ L”层上执行自适应直方图均衡化，进一步提高了图像对比度。为了减少由自适应直方图均衡引入的噪声，进行了各向异性扩散滤波。然后将生成的图像转换回RGB，并进行加权缩放以将其转换为灰度图像（Iweighted）。为了在加权后增强血管边缘，应用了快速离散曲波变换（FDCT）。 Curvelet变换[46]在改善其中具有较小特征的图像的对比度方面非常有效。文献中有许多方法可以有效地将 Curvelet 变换用于视网膜图像处理以提取血管[47-50]。

由于 Iweighted 在空间域中，因此可以用 Iweighted（t1，t2）的形式表示，其中0≤t1，t2≤n。在 Iweighted 上应用2D FFT以获得傅里叶样本 I^weighted [n1，n2]，其中（-n / 2）≤n1，n2≤（n / 2）。将傅立叶样本Iweighted [n1，n2]与离散的定位窗口Jj,i [n1，n2]相乘，其中“ j”是比例，“ l”是角度，并将乘积绕原点缠绕以获得~Iweightedj,l [n1，n2 ]如下所示：

其中0≤n1≤Z1和n2 <Z2。 Z1，j〜2j和Z2，j〜2j / 2是常数。最后，将逆2D FFT应用于每个Iweightedjl，以获得离散曲波系数cD（j，l，k），其中k =（k1，k2）是平移参数

Curvelet变换的两个重要属性，即各向异性缩放定律和方向性，使Curvelet变换成为与其他变换相比处理视网膜图像中奇异点的最佳变换。在获得curvelet系数之后，对应于图像的粗略近似的系数被抑制并且等于零。剩余的系数使用类似于Miri和Mahloojifar在[48]中提出的修正函数（“κ”）进行放大。通过对以下方程式中涉及的参数使用不同的值来获得修改函数：

其中c是输入的Curvelet系数，σ是相对频带的Curvelet系数在相同方向和范围内的噪声标准偏差，使用[51]中指定的方法计算得出。 m是要为其计算修改参数的各个频段的最大Curvelet系数。表1中给出了（5）中使用的w1，w2，w3，a和p。这些值是通过试探法选择的，从而在不同的视网膜图像数据库上具有更好的分割性能。

在使用这些修改后的Curvelet系数应用逆Curvelet变换后，获得了血管边缘增强图像，然后将其与灰度图像相乘，然后对其进行加权以获得血管边缘增强图像（Iedge）。在图3b和c中可见血管边缘对比度的差异。为了去除对应于OD和渗出液的亮像素，通过以下方程式执行一系列图像处理步骤：

（9）中的c表示所称赞。
最后，为了从Iout中分割出血管像素，使用模糊C均值（FCM）聚类算法：

由于我们只对主要血管感兴趣，因此使用连接成分分析（CCA）和形态学操作（如膨胀，桥接和腐蚀）处理图像Ivess，以获得最终的主要血管图像Imaj，如图3d所示。

4.1.3粗略的ONH中心检测

使用中值滤波器对经过调整大小的输入视网膜图像Iorig进行滤波以获得Imed。然后将窗口Wonh的尺寸（k，l）等于Tempavg（在第4.1.1节中计算），然后在Imed上滑动。在Wonh的每个位置，对应于窗口图像的三个层（R，G和B）的三个不同直方图与平均直方图对应的平均直方图（Histred，Histgreen和Histblue）之间的平方差（SSD）平方和使用（11）计算模板Tmp。然后使用（12），计算变量match（matcher，matchg和matchb），以作为Tmp与窗口Wonh之间相似度的度量。最后，三个独立的权重（wr，wg和wb）用于缩放相应的匹配值，以获得最终的加权匹配值“ M”（13）。由于绿色通道与其他两个通道相比具有更好的对比度，因此将更多的权重分配给matchg值。在尝试了不同的值之后，权重的使用值分别为wr = 0.5，wg = 2和wb = 0.25。

其中m = 501-k和n = 501-l

将此M值按降序排序，以使最大值在M的第一列中对齐。从Iorig获得与这些最大值相对应的索引，并在这些位置创建圆形蒙版。每个这样的掩模的半径近似为40个像素，以匹配近似的OD半径[29]。然后将这些圆形蒙版应用于4.1.2节中的Imaj获取。对于每个应用的蒙版，计算蒙版区域内所有血管像素强度的总和。由于主要的视网膜血管从ONH的中心放射，因此如图3e所示，将具有最大血管总和值的掩模作为用于检测粗糙的ONH中心的位置的潜在掩模。在[52]中，Muangnak等人。曾使用过类似的方法，即以OD中心为血管汇合的点。该电位掩膜的质心被视为粗糙的ONH中心位置。获得的输出反映在图3f中。

4.2微调的ONH中心和边界检测

该附加步骤不仅将4.1.3节中获得的潜在掩模的轮廓作为OD边界，还进一步提高了所提出算法的性能，以检测ONH中心并分割ONH边界。使用4.1节中描述的方法获得的粗OD中心位置在本步骤中用作参考。使用尺寸为131×131且方格为ONH的正方形遮罩，从原始输入的视网膜图像中裁剪出ROI（ROIOD）。此ROIOD足够大，可以包含要在其中分割的OD。在将该ROIOD转换为灰度之后，通过使用具有50个像素的半径的盘状掩模来应用顶帽和底帽变换来增强对比度，以匹配OD半径。由于与背景相比，要在ROIOD中分割的OD包含明亮区域，因此我们首先应用如下所述的礼帽变换：

其中“ o”是开运算符，B是半径= 50像素的圆盘形蒙版。开运算符’o’保留了图像的背景，从（14）中可以清楚地看出，礼帽变换的作用类似于高通滤波器，仅保留小于半径为圆盘形蒙版的明亮区域 50像素我们之所以选择圆盘状的掩模，是因为在大多数医学图像分析问题中，由于使用了圆盘状的掩模，因为它们与旋转的变化无关。
然后，在同一ROIOD上应用底帽转换，该ROIOD仅保留ROIOD中小于蒙版的较暗区域。如下所述：

其中“·”是结束运算符，B是半径= 50像素的圆盘形状蒙版。
最后，通过将ROIOD（TH）添加到ROIOD并从等式中减去ROIOD（BH），可以增加ROIOD中明暗区域之间的对比度。

该步骤之后的输出反映在图4c中。基于圆形霍夫变换（CHT）的方法用于检测近似具有圆形形状的ROIOD’中的OD边界。在这种方法中，第一个Sobel运算符用于在ROIOD’中定位边缘。通过将ROIOD’与由以下定义的Sobel运算符核进行卷积获得Sobel梯度估计值

然后使用以下等式找到梯度估计值ROIGE：

然后使用Otsu阈值[53]对这个ROIGE进行阈值化，以检测保留ROIGE中最突出边缘的二进制边缘映射图像。然后将折断的边缘链接起来，并使较粗的边缘变薄以获得ROIODedge。然后，对于ROIODedge中的每个边缘像素，CHT在（a，b，r）参数空间或Hough空间中构造一个圆锥体。所有这些圆锥的相交点被视为检测到的OD的微调中心。
在算法1（请参见图5）中，该算法说明了投票过程，随后进行了基于CHT的微调OD检测，“ε”是θ轴的分辨率值，该值最初设置为较小的值。对于每个边缘像素，获得ROIOD edge（i，j），相应的霍夫空间坐标（x，y，r），其中“ r”位于[rmin，rmax]的范围内，该范围在30和40像素的范围内，以匹配近似的OD半径。如果输入边缘图像中有“ N”个二进制边缘点属于以“ O”为中心的OD边界，则对于[rmin，rmax]中的“ r”的每个值，在霍夫空间中会形成“ N”个圆锥。对于特定的“ r”值，所有圆锥体都在特定的公共点（cx，cy，rOD）相交，该公共点是检测到的OD（“ O”）的微调中心。投票过程结束后的霍夫空间将具有一系列像元（H [r] [x] [y]），其中将包含属于OD的具有中心（i，j）和半径的边缘点的数量’r’。
最高计数或局部最大值对应于输入边缘图像中微调的OD中心的坐标，从而有助于提取相应的OD边界像素。如果此微调的OD中心与粗糙的ONH中心之间的欧几里得距离大于1 OD直径（ODD）（对于所选的输入图像分辨率，1 ODD =〜80-90像素），则检测到的微调中心将被拒绝然后将（H [r] [x] [y]）中随后的最高计数条目与粗糙的ONH中心进行比较。
使用此OD边界信息创建一个二进制掩码（图4d）。然后将该掩模映射到最终的OD掩模（图4e）上，然后将其应用于输入图像以标记OD边界。图4f反映了此步骤之后的输出。从图4f中可以明显看出，使用第4.2节在检测ONH中心方面取得了改进，其中将粗略的ONH中心标记为黑色十字，而将经过微调的ONH中心标记为蓝色十字。
在所提出的方法中，由于文献[8、9、23、29]中报道的大多数方法都将OD边界近似为圆形，因此为简化操作和简化性能评估，我们将OD边界近似为圆形。地面真值OD边界也近似为圆形，这使得手动分割对于专业眼科医生而言更少的时间。而且，该方法有望用于DR的自动分级，对于该方法，必须分析与检测到的OD边界同心的区域。还可以对提取的OD边界进行微调，这可以进一步改善OD边界分割的性能。但是，这超出了本研究的范围。

4.3中央凹检测

视网膜中央区域富含视锥细胞（负责彩色视觉的细胞），称为黄斑。由于与视网膜中其他地方的细胞相比，黄斑中的色素上皮细胞更高，并且含有更多的色素，因此黄斑区域似乎是视网膜中最暗的区域。该区域也没有视网膜血管。中央凹是位于黄斑区中心的浅凹[43]。

为了在视网膜图像中定位中央凹，首先，识别黄斑区域。然后将黄斑区域的中心作为中央凹位置。最初，确定了ROI中心凹。通过考虑有关OD相对于黄斑在视网膜图像中的位置的先验信息来选择此ROI中央凹。黄斑区域与视网膜沿视网膜的距离几乎保持恒定的距离（160像素或2DD（OD直径））[54]。使用在第4.2节中获得的有关OD在输入视网膜中的位置的信息，裁剪出尺寸为170×500的矩形区域。此ROIfovea包括OD以及输入视网膜图像的黄斑区域，如图6b所示。然后，使用尺寸为170×200的ONH中心为中心的矩形遮罩遮盖该ROI中央凹的OD区域，以获得ROImacula。

为了增加ROImacula中黄斑区的对比度，我们使用了先前工作中使用的对比度增强方法[4]。第4.1.2节讨论了相同的问题。选择对比度增强图像（ROImacula’）的绿色通道进行进一步处理。这些步骤反映在图1和2中。 6c和d。

在应用形态学膨胀之后（图6e），使用第4.2节中所述的方法，使用顶帽和底帽变换，进一步增加了ROImacula’中暗黄斑像素和亮背景像素之间的对比度，从而获得ROImacula’’（图6f）。

ROImacula’'的补充版本（图6g）用于定位潜在的黄斑像素。使用阈值β= 0.82进行阈值化。在尝试以0.01为步长从0到1的各种值进行试验后，通过试探法确定β值。该步骤之后的输出反映在图6h中。然后将此图像与尺寸为500××500的蒙版图像相乘，该蒙版的前20列和后20列的值均为0，以便遮盖阈值后获得的边界像素。此步骤之后的输出如图6i所示。

在此图像上执行CCA，并选择具有最大面积的分量作为潜在的黄斑像素。图5j反映了此步骤之后的输出。此选定连接的分量的质心作为中央凹中心。在这个中央凹中心处创建一个圆形蒙版。由于中央凹区被认为具有与OD相同的尺寸，因此该掩模的半径为40个像素。检测到的最终中央凹区域在图6l中示出。提出的方法的每个步骤之后的输出如图7所示。