提出的super-BPD 与 之前方法MCG相比，精度相当或者更优，而却可以达到 25fps，MCG仅 0.07fps。速度更快且有更好的迁移性，可应用于未见的场景。

作者 | Jianqiang Wan, Yang Liu, Donglai Wei, Xiang Bai, Yongchao Xu
单位 | 华中科技大学；哈佛大学

论文 下载地址|

Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation​arxiv.org

代码 下载地址|

JianqiangWan/Super-BPD​github.com

简介

图像分割是一项基本的视觉任务，是许多应用程序的关键步骤。本文提出了一种基于超边界到像素方向的图像快速分割方法和自定义分割算法。将每个像素上的BPD定义为一个从其最近边界指向像素的二维单位向量。在BPD中，来自不同区域的邻近像素彼此之间有相反的距离，同一区域的邻近像素之间有相互指向的方向(即相互指向)。

利用这一特性将图像分割成超像素点，这些超像素点是一种新的具有鲁棒方向一致性的信息性超像素点，可以快速分组分割区域。在BSDS500和Pascal背景下的实验结果证明了该算法在分割图像时的准确性和效率。在实际应用中，在25fps和0.07fps的情况下，提出的Super-BPD实现了与MCG相当或更优的性能。

介绍

BPD不仅提供轮廓位置，而且编码每个像素到对应区域边界的相对位置，从而得到相邻像素之间的关系。这使得我们可以有效地将图像分割成Super-BPD，这样每个像素和它所指向的方向相似的像素都在同一个Super-BPD中。Super-BPD可以看作是经典超像素的一种新形式，为进一步的分割区域分组提供了鲁棒性方向。

Super-BPD的集合形成了一个区域邻接图(RAG)，其中的边按相邻Super-BPD的边界的大小方向进行加权。不同区域内邻近像素的BPD近似相反，因此方向相似度较小。这种性质甚至在弱边界处也存在，在弱边界处，已学习的BPD沿该方向平滑地向大致相反的方向发散。这使得Super-BPD具有鲁棒的方向相似度，可以将相似的Super-BPD在同一感知区域内分组，将Super-BPD从不同的感知区域中分离出来。我们利用相邻Super-BPD之间的这种方向相似性将RAG分割成不同的簇，从而实现分段。

本文的主要贡献有:

1本文提出了一种新的超边界到像素导向(Super-BPD)，它能够替代经典的超像素导向。超级bpd在相邻的超级bpd之间提供了鲁棒的方向相似度，可以实现高效的图像分割。

2本文提出了一种基于方向相似度的由粗到细的Super-BPD分割算法，在分割精度和分割效率之间取得了很好的平衡。

优点：

提出的Super-BPD属于监督方法。与现有的基于学习的方法不同，Super-BPD不依赖于轮廓线，不需要费时的处理方法，也不需要对轮廓线的变换进行分割。Super-BPD是一个强大的替代经典的超像素。 该算法提供了鲁棒的相似度，可以有效地将同一区域内的像素进行分组，并在边界较弱的情况下分离邻近区域。这就在准确性和效率之间取得了很好的平衡。Super-BPD不需要单独的超像素生成和嵌入步骤，更有效地分离边界较弱的邻近区域。

上图为Super-BPD结果。给定一红色的图像Super-BPD分割边界，放大到一幅图像边界较弱的区域(黄色)，虽然像素有相似的值，Super-BPD可以通过鲁棒预测的边界到像素方向将像素连接起来，在边界的两边生成条状的段，以便分组。

方法：

Super Boundary-to-Pixel Direction

对于每个像素蓝色P(红色的为ground truth boundary)，找到其最近的边界像红色Bp。 BPD向量定义为Bp指向p的二维单位向量。对每个像素密集预测BPD，并对其方向进行颜色编码。

超级边缘点分割算法能够在相邻的超级边缘点之间提供鲁棒的方向相似度，从而通过区域划分实现快速的图像分割。

Boundary-to-Pixel Direction (BPD)：

定义：对于图像中每个像素领p找到其最近的边界像素Bp。那么，在像素点p, dp处的BPD被定义为一个二维的单位向量，表示为：

BPD提供了每个像素点的轮廓位置和相对于其区域边界的位置的线索。距离变换算法可以有效地从地面真值注释生成BPD。

模型结构：

采用了全卷积网络(FCN)将BPD预测为与输入图像空间大小相同的双通道映射，如下图所示。VGG16作为主干网，舍弃最后的最大池层和后面的所有层。ASPP层扩大接受野，更好地应对大的区域。从VGG16的不同阶段提取特征来聚合多尺度信息，对conv3、conv4、conv5和ASPP层应用1×1卷积，将这些边输出特征连接起来。最后，我们在融合后的特征图上连续应用三个1×1卷积，然后利用双线性插值的上采样来预测BPD。

损失函数：L2范数

从已有的BPD中，提取图像P编码的条形段super-BPD及其根像素R类靠近区域对称轴，首先，每个像素p的父元素被设为自身，p (p) = p，根像素R的集合为空。对于每个像素p，将其下一个像素np定义为dp所指向的邻近像素。

根据上图算法5 - 9行描述的，每个像素的光栅秩序，如果夹下一个像素np和BPD小于给定的阈值θ，就将其组在一起。否则，将p插入到根像素r的集合中，最终的根图像p将图像分割成一个树森林，每个树的根都是r中的一个根像素。将每棵树定义为一个Super-BPD。

Super-BPD用于语义分割

根据相似度方向，大小不等的细分(算法2，第13-16行)。根据初始段的大小建立方向相似阈值。

按方向相似度的递减顺序遍历e = (r1, r2)。合并R 1和R2，如果方向相似性S (e)大于h θ，触发更新的排斥信息——渐变super-BPDs。

实验结果