文章目录

Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation（2016 ECCV）
- 1. contribution
- 2. 网络结构
- 3. seed的部分
- 4. expansion部分
- 5.Constrain-to-boundary部分
- 6. test time
- 7.global weighted rank pooling对比试验

Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation（2016 ECCV）

Seed: to seed with weak localization cues.
Expand: to expand objects based on the information about which classes can occur in an image.
Constrain: to constrain the segmentations to coincide(相符合) with object boundaries.

1. contribution

作者利用 VGG等分类网络产生 reliable object localization cues (seeds)，但是这是很粗略的定位。然后利用了seeding loss，使segmentation network 去匹配localization cues（Note：没有像素级标签）

作者提出了global weighted rank pooling，使用了expansion loss去扩充object seeds 到regions of a reasonable size。

作者提出了constrain-to-boundary loss去捕获更精准的边缘，它力求约束预测输出的predicted segmentation mask去respect low-level的图像信息，尤其是物体边界。

2. 网络结构

灰色的箭头表示back propagation，weak localization 不需要back propagation。接下来逐步讲解。

3. seed的部分

图像级标签不显式地提供关于图像中语义对象位置的任何信息。作者建议使用seed loss来鼓励神经网络的预测只匹配弱定位过程给出的“landmarks”，而忽略图像的其余部分。

网络就是分类网络，显而易见。seed loss的定义如下

ScS_cSc是第c类的weak localization sets，如fig 2中的中间。fu,c(x)f_{u,c}(x)fu,c(x)表示输入一张图像X，在u点处的pixel是class c的概率。T就是class 的set。

4. expansion部分

为了衡量一个segmentation mask是否与图像级标签一致，可以将segmentation score聚合成分类分数（注意分割出来的mask是一张图，分类出来的是一张图一个score），并应用标准损失函数对多标签图像进行分类。最主流的是global max-poling(GMP)，和global average pooling(GAP)，如下两个公式。

对于在image GMP后出现的类，只鼓励单个位置的响应为高，而GAP则鼓励所有响应为高。GAP导致一个分割网络往往低估了对象的大小，相反GMP往往高估他们。(统计角度)

为了克服这些缺点，我们提出global weighted rank pooling (GWRP)，GWRP计算每个类的加权平均分数，其中权重较高的是更有前途的位置。通过这种方式，它鼓励对象占据图像的某个部分，但与GAP不同的是，它不太容易高估对象的大小。

dcd_cdc是一个 decay parameter for class c。Gc(f(X),dc)G_c(f(X), d_c)Gc(f(X),dc)是分类的score。
最后expand loss被定义为
作者说，分类的class太多了，所以他凝练成了三类。d+ d- dbgd_{bg}dbg的定义如下：

让出现的接近1，没出现的接近零，背景也是0.

5.Constrain-to-boundary部分

边界约束损失的高级思想是惩罚神经网络产生与输入图像中的空间和颜色信息相关的不连续的分割。因此，它鼓励网络学习生成匹配对象边界的分割掩码。(疑问：为什么将原图dcrf之后的图与segmentation mask算kl散度？)

6. test time

我们的分割神经网络被训练为生成所有类和位置的概率分数，但是预测的分割掩模的空间分辨率低于原始图像。因此，我们升级了预测的分割掩码，以匹配输入图像的大小，然后应用一个全连接的CRF来细化分割。

7.global weighted rank pooling对比试验