AG-Net:Attention Guided Network for Retinal Image Segmentation
AG-Net:注意力引导网络用于视网膜图像分割
 from MICCAI2019

Abstract

学习图像的结构信息对视网膜图像分割至关重要。近期，深度神经网络在提取特征方面展现了超凡的能力，但是卷积和池化操作也滤掉了有用的结构信息。为此本文提出了注意力引导网络（AG-Net）来保留结构信息同时引导扩张操作。 在AG-Net中，使用对结构敏感的扩张路径，从而在扩张的时候保留从前层特征图谱中的结构信息，随后还使用了一个注意力模块来去除噪声、减少背景带来的影响。 随后这一框架在两类实验上进行了广泛的测试，分别是：视网膜血管分割和视杯实盘分割，充分验证了这一方法的有效性。

Section I Introduction

视网膜图像分割在自动化疾病诊断中十分重要，与自然图像相比，视网膜图像包含更过的上下文相关的结构信息，比如视网膜学联、视杯视盘等都对临床疾病的诊断部至关重要。
    近期，CNN在视网膜血管分割任务中均取得了骄人的成绩，通过级联的卷积-池化操作可以有效学习抽象的特征表达，但却忽视了一些有用的结构信息，比如边缘界都等，这也是对视网膜图像分析十分重要的信息。 为了解决这一问题，一种可行的解决半大就是增加额外的扩张路径（expanding path)将不同分辨率的特征融合起来。
    比如FCN就将下采样获得的特征图与上采样后的特征图相加了起来；UNet则是以级联的方式同时还增加了非线性度。但是这些算法框架都没能有效利用图像的结构信息，有可能不利于分割结果。因此，非常希望可以有更好的扩张路径的设计方法，能够保留更多的结构信息。
     为了解决这一问题，本文引入了Guided Filter[7]来完成从前层提取到的结构信息迁移到深层次。Guided Filter是一种保留图像边缘的滤波器，在迁移图像结构信息时很有用。与之前应用于图像层面上不同的是，本文将Guided Filter用于CNN来学习如何更好的进行分割。 本文还基于guided filter设计了一个注意力机制来移除复杂背景中的噪声。 最终本文设计的AG-Net(Attention Guided Network)可以有效保留结构信息，引导扩张操作。并在视网膜血管分割和视杯视盘分割任务中验证了AG-Net的有效性。

Section II Methodology

Fig 1展示了AG-Net的结构，其中选用M-Net做为骨干结构来学习不同层次的表征，随后将提出的注意力引导滤波器加入到网络中，这一个注意力引导滤波器包含guided filter 和一个attention block，一方面可以滤除背景噪声，一方面可以减少由于上采样引起的边缘模糊问题。 

从Fig 1中可以看到，通过M-Net完成不同尺度的特征提取，黄色的部分表示Attention Filter filter，C指的是级联操作。 本文的AG是一种结构敏感的跨层连接，用于替代原始的跨层连接，从而用于更好的信息融合。 下面仔细介绍网络细节。
Part A Attention Guided
Filter AG用于复原空间信息，融合不同分辨率的结构信息。因此输入包括：I引导的特征图谱和O过滤特征图谱。输出的Obar则是高分辨率的特征图。 而T则是经过注意力模块处理后产生的。

从Fig 2中可以看到，整个流程是： 首先将I降采样较低分辨率Il，达到与O一样的大小，随后最小化Il与O的重建误差来获得注意力引导模块的注意力系数：Al Bl(此时还是较低分辨率的)； 随后在双线性插值到高分辨率大小，获得Ah Bh,基于Ah Bh通过上述系数获得高分辨率的输出，这就是注意力引导滤波器的输出了。 确切地说，注意力引导滤波器在每一个位置k建立了一个半径为r的方形窗。 因此对于Il中的每一个像素点，实际上经历的操作是： 获得输出的Ok，其中ak和bk都是这个窗wk的线性系数。
  Fig 2展示了注意力引导滤波器的处理流程。首先通过Attention Block产生注意力图谱T，然后根据T经过均值滤波和一个局部线性模型获得低分辨路的Al Bl,随后通过双线性插值获得高分辨率的Ah Bh,基于以上两个参数产生最终的高分辨率输出Obar。 为了确定ak bk这两个现形系数，通过最小化窗内每一像素点Oki与原始Oi之间的差异。 其中lambda是一个正则化参数，Ti表示该点的注意力权重，那么ak bk的解可以如此计算得到： 

其中Nk就是窗内所有的像素点，考虑到每一点i可能会对应多个窗，因此本文最后的输出Oki是所有创的均值，就相当于对所有窗口计算出来的ak,bk取均值在计算最终的Obar_i. 因此，最后的输出O其实就是对输入的I进行线性变换： 
  

优化目标就是：
  
Part B Attention Block 
注意力模块主要用来突出前景物体，减少背景带来的影响。

Attention block的流程参见Fig 3，主要分三步走： 
 （1）对输入的特征图Il和O进行通道卷积，这可以称为基于向量级联的注意力，级联后的特征被线性映射到隐空间； 
 （2）将两个线性变换晚的特征图进行逐点加法后再经过ReLU激活； 
 （3）进行1x1卷积以及Sigmoid激活得到最终的注意力图谱。

Section III Experiments

Part A Vessel Segmentation on DRIVE Dataset 
 视网膜分割实验基于DRIVE数据集。 数据集的情况不再赘述，额外的数据增强操作有：伽马变换提升图像对比度、图像resize到512x512大小。 训练是从头训练的，使用Adam优化器。
 一些超参数：窗口半径r=2 正则化因子lambda=0.01 
 评价指标：Spe,Sen,Acc,IOU,AUC. 
 除了参与对比的其他SOTA框架，将本文的AG-Net中的注意力引导滤波器替换为原始的guided filter这一框架称作GF-Net。 对比结果参见Table1.

可以看到GF-Net效果优于原始的M-Net，说明与原始的跨层连接相比，guided filter的优越性；随后AG-Net比GF-Net性能进一步提升，进一步说明了在guided filter中加入注意力机制的必要性。 最后不像其他方法采用裁剪图像的方式，本文是在原始20张图上上达到的效果。 

Table II是在CHASE-DB1上的对比效果。 Fig4对部分测试样例展示了可视化效果。分别是M-Net.M-Net+GF,AG-Net。 M-Net会忽略掉一些相似的结构，可以看到加入GF后边缘变得更加清晰，充分说明了guided filter的有效性，而本文的AG-NET通过将注意力引导模块作为特殊的expanding path，进一步提升了对微小结构的识别，获得了更加清晰的边界结构，充分说明了注意力机制可以提升前景物体，减少背景的影响。
Table3展示了M-Net和AG-Net在Titan X 上训练200轮的用时。

Part B Optic Dice/Cup Segmentation on ORIGA Dataset
 在视盘和视杯分割任务中，使用的数据集是ORIGA。
  ORIGA数据集包含650张眼底图像，被分为325张训练和325章测试，其中分别包含73和95例青光眼病例。 随后将OD区域resize到256大小。 
  参与对比的有：ASM [14], Superpixel [15], LRR [16], U-Net [6], M- Net，M-Net+polar transformation. 随后计算视盘视杯比。 Table4展示了不同方法的对比结果。

可以看到AG-Net+PT*达到了SOTA，并且超出原始M-Net一大截，充分说明guided filter对分割性能的提升。

Section IV Conclusions

本文提出了一种注意力引导的滤波器使得扩张路径对结构敏感，将其运用到M-Net中有效的提升了信息融合的效果。 除此之外，通过在filter中引入注意力机制可以有效聚焦于前景物体而减少背景的影响。在两类分割实验中均证明了这一方法的有效性。

论文阅读——AG-Net：Attention Guided Network for Retinal Image Segmentation相关推荐

【论文阅读】Online Attention Accumulation for Weakly Supervised Semantic Segmentation
一篇弱监督分割领域的论文,其会议版本为: (ICCV2019)Integral Object Mining via Online Attention Accumulation 论文标题: Online ...
《论文阅读》Bi-directional Relationship Inferring Network for Referring Image Segmentation
留个笔记自用 Bi-directional Relationship Inferring Network for Referring Image Segmentation 做什么 Referring ...
论文阅读：Hierarchical Attention Transfer Network for Cross-Domain Sentiment Classification
论文来源:https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16873/16149 发表日期:2018AAAI 研究背景用户通常在社 ...
论文阅读KMN：Kernelized Memory Network for Video Object Segmentation
这篇论文发表在ECCV2020上面,是对于STM的改进.STM存在一个缺点,就是在做query和memory的key之间的matching时,将所有的情况都建立了联系,这种处理是一种non-local ...
论文阅读—Relation-Aware Graph Attention Network for Visual Question Answering
论文阅读-Relation-Aware Graph Attention Network for Visual Question Answering 一.标题用于视觉问答的关系感知图注意力网络二.引 ...
论文阅读：Saliency-Guided Region Proposal Network for CNN Based Object Detection
论文阅读:Saliency-Guided Region Proposal Network for CNN Based Object Detection (1)Author (2)Abstract (3 ...
论文阅读11——《Mutual Boost Network for Attributed Graph Clustering》
是聚类让我们"聚类",我整理了部分深度图聚类代码,希望大家多多支持(GitHub代码):A-Unified-Framework-for-Deep-Attribute-Graph-C ...
【菜鸡读论文】AU-assisted Graph Attention Convolutional Network for Micro-Expression Recognition
[菜鸡读论文]AU-assisted Graph Attention Convolutional Network for Micro-Expression Recognition 芜湖!又到了每周分享 ...
论文阅读Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift
论文阅读Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift 全文翻译 ...

论文阅读——AG-Net：Attention Guided Network for Retinal Image Segmentation