[论文阅读] Active Image Segmentation Propagation

论文地址：https://openaccess.thecvf.com/content_cvpr_2016/html/Jain_Active_Image_Segmentation_CVPR_2016_paper.html
发表于：CVPR’16

Abstract

我们提出了一种半自动的方法来获得大量相关图像的前景对象mask。我们开发了一种分阶段的主动传播方法：在每个阶段，我们主动确定对人类标注最有价值的图像，然后相应地修改所有未标记的图像中的前景估计。为了确定那些一旦被标注就会很好地传播到其他样本的图像，我们引入了一个主动选择程序，在所有图像的联合分割图上操作。它优先考虑那些在图中不确定和有影响的图像的人工干预，同时也是相互的。我们应用我们的方法获得了超过100万张图像的前景mask。我们的方法在ImageNet和MIT Object Discovery数据集上产生了最先进的准确性，而且它比现有的传播策略更有效地集中人类的注意力。

I. Method

由于本文的分割模型已经比较老了，为此这里重点讨论下其中的主动学习算法。本文的主动学习分为三个要素，influence、diversity、uncertainty：INFLUENCE⁡(St)=1∣St′∣∑Ii∈St∑Ij∈St′sim⁡(Iic,Ijc)\operatorname{INFLUENCE}\left(\mathcal{S}_{t}\right)=\frac{1}{\left|\mathcal{S}_{t}^{\prime}\right|} \sum_{I_{i} \in \mathcal{S}_{t}} \sum_{I_{j} \in \mathcal{S}_{t}^{\prime}} \operatorname{sim}\left(I_{i}^{\mathrm{c}}, I_{j}^{\mathrm{c}}\right) INFLUENCE(St)=∣St′∣1Ii∈St∑Ij∈St′∑sim(Iic,Ijc) DIVERSITY⁡(St)=−1∣St∣∑Ii∈St∑Ij∈Stsim⁡(Iic,Ijc)\operatorname{DIVERSITY}\left(\mathcal{S}_{t}\right)=-\frac{1}{\left|\mathcal{S}_{t}\right|} \sum_{I_{i} \in \mathcal{S}_{t}} \sum_{I_{j} \in \mathcal{S}_{t}} \operatorname{sim}\left(I_{i}^{\mathrm{c}}, I_{j}^{\mathrm{c}}\right) DIVERSITY(St)=−∣St∣1Ii∈St∑Ij∈St∑sim(Iic,Ijc) UNCERTAINTY⁡(St)=1∣St∣∑Ii∈StD(Mi)\operatorname{UNCERTAINTY}\left(\mathcal{S}_{t}\right)=\frac{1}{\left|\mathcal{S}_{t}\right|} \sum_{I_{i} \in \mathcal{S}_{t}} D\left(M_{i}\right) UNCERTAINTY(St)=∣St∣1Ii∈St∑D(Mi) 其中St′\mathcal{S}_{t}^{\prime}St′表示未标注集，St\mathcal{S}_{t}St表示候选集(同样未标注，正在用指标衡量其标注的“价值”)。

对于INFLUENCE，计算了候选集与未标注集之间的图像相似度，越像的话影响越高，这一步的话其实就是主动学习里经典的representative sampling，选最有代表性的样本。

对于DIVERSITY，计算了候选集内部的图像相似性，充当了一个惩罚项。同样差不多INFLUENCE的候选集，其内部图像间相似性越低的话，能提供的信息自然也就更多。

对于UNCERTAINTY，这里涉及到一个D(Mi)D(M_{i})D(Mi)项，其表示任务模型对于图像难度的衡量。那么这个东西其实算是最有技术含量的地方，因为对于未标注集，是没有真值标签的，所以没法通过loss取衡量难度，只能靠各种途径去猜。而本文的话，单独搞了个Random Forest Regressor，随机森林回归器，来去预测样本的困难度。

总的来说，是将语义分割中的Segmentation Propagation方法给Active Learning化。