粗读Active Boundary Loss for Semantic Segmentation

本文通过让一个损失函数关注边界相关的信息，来提高在边界处的分割效果。整个思路麻烦且不直观，我直接讲方法吧。

第一步，将GT中边界部分设为0，然后运算distance transform函数，让其他非0的像素计算自己距离最近的0的曼哈顿距离（好怪哦，bushi），得到一个大小为H*W，成员为整数的矩阵。

第二步，让模型输出一个预测图P，大小为C*H*W，C为类别数量，每个通道对应一个类的物体的分割结果。然后，根据这个预测图计算B

B的计算方式是从右上角开始，计算每一个点与它周围两个点的关系，具体的两个点是往下移一格与往左移一格的点（所以不用计算下沿和右边框上的的点）。所以这里的i，j实际上都是有两个数字的坐标值。因为预测图有C个通道，那么每个像素可以转化为一个长度为C的向量。计算两个向量的KL散度，如果散度差较大，那么就认为i点为边界点。

作者用了自适应的方式调整阈值 $\epsilon$ ，凭经验，令边界点数量大约占总像素数量的1/100，因为大多数图像的GT中，边界像素数大概为总像素数的1/100。

B的大小为H*W，成员为0或1。

第三步，将B膨胀一格，即B中原本为1的格子周围8个格子的像素也视为1。

然后遍历B，对所有为1的格子计算

argmin的意思是获得：令后面的函数最小时的自变量的值。例如f(x^2)=x^2-4x-1，那么argmin f(x)=2，因为x=2时函数最小。

这个式子中自变量为j，i实际上为坐标值，Δ是一个数组，数组成员是坐标值偏移，具体来说为∆ = {{1, 0}, {−1, 0}, {0, −1}, {0, 1}, {−1, 1}, {1, 1}, {−1, −1}, {1, −1}}。因此靠着argmin，可以找到预测的边界实际上应该往哪个方向偏移，因为M是计算像素点与实际边界的距离的结果，M越小说明j周围的那个点离边界更近。

因为j是一个数，而为了后面的函数计算， $D^{g}$ 要为8维向量，因此将j转化为一个长度为8的one-hot向量，并放入 $D^{g}$ 的位置i处，例如j=0，那么相应的向量为{1,0,0,0,0,0,0,0}。

最后计算 $D^{p}$ 。之前的g代表groud-truth，而p就代表predicted。 $D^{p}$ 的计算简单粗暴，就是计算i周围8个点，每个点于自己的KL散度的占比。同样，只有计算了Dg的点才会计算Dp

通过两个D，即可计算损失函数

Nb为预测边界点数，即在计算B时值为1的点的数目。那个标志像刺客信条的函数计算公式如下

x为i点在M上的值。θ为阈值，定为了20。这样离真实边界越远的预测边界影响越大，但不会过大导致其他错误预测的边界点的影响被盖过去。

为了让损失函数越小，每一个点都要扩大与真实边界方向的点的KL散度，缩小与其他点的KL散度。毕竟Dp可以视为这个损失函数的GT，而Dp中只有边界方向的值为1，其余的为0。通过这个损失函数，预测出来的概率图P，同类别之间的点会尽可能分布相同，但与边界方向的点就会尽量不同，哪怕边界方向的点和自己是同类。

虽然以往我都是把模型框架示意图防最前面，但本文方法实在复杂，示意图初看完全不明白啥意思，但结合上文流程，示意图立马简单易懂了

把local distance map视作Dg一部分，local probability map视作Dp一部分，便能明白这个损失函数在干啥了。

最终损失函数为

C为类别数，m(c)为预测c类错误数组，ΔJc是Jaccard loss，而这涉及到另一篇我还不了解的论文了。

粗读Active Boundary Loss for Semantic Segmentation相关推荐

AAAI 2022主题论文推荐——Semantic Segmentation
AAAI是具有重要影响力的国际学术组织,由计算机科学和人工智能领域奠基人Allen Newell.Marvin Minsky.John McCarthy等学者于1979年共同创立,旨在推动智能思维与行 ...
语义分割-Unsupervised Domain Adaptation in Semantic Segmentation：a Review语义分割中的无监督领域自适应：综述
Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述 0.摘要 1.介绍 1.1.语义分割 ...
论文笔记：Integrating Semantic Segmentation and Retinex Model for Low Light Image Enhancement
来源:Proceedings of the 28th ACM International Conference on Multimedia (2020) 目录 Contributions Mothol ...
Weakly Supervised Semantic Segmentation with Boundary Exploration
Weakly Supervised Semantic Segmentation with Boundary Exploration 摘要 1 Introduction 2 Related Work 3 ...
论文笔记-Domain Adaptation for Semantic Segmentation with Maximum Squares Loss
论文信息论文标题:Domain Adaptation for Semantic Segmentation with Maximum Squares Loss 论文作者:Minghao Chen, H ...
读论文-OVSeg-基于遮罩自适应CLIP的开放词汇语义分割-Open-vicabulr semantic segmentation with mask-adaptived CLIP
OPEN-VOCABULARY SEMANTIC SEGMENTATION WITH MASK-ADAPTED CLIP 基于MASK-ADAPTED剪辑的开放词汇语义分割摘要 Open-vocab ...
Fully Convolutional Networks for Semantic Segmentation (FCN)论文翻译和理解
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
【论文翻译】Fully Convolutional Networks for Semantic Segmentation
论文题目:Fully Convolutional Networks for Semantic Segmentation 论文来源:Fully Convolutional Networks for Se ...
[分割]Learning a Discriminative Feature Network for Semantic Segmentation(DFN)
本文转自3篇文章当作自己的笔记. 文章1:链接 Learning a Discriminative Feature Network for Semantic Segmentation Learning ...

粗读Active Boundary Loss for Semantic Segmentation

粗读Active Boundary Loss for Semantic Segmentation相关推荐

最新文章

热门文章