【计数网络】梯度累加增加LCFCN的BatchSize

LCFCN是一个以分割网络为基础的专用于计数的网络.
LCFCN模型由于loss的特殊性 batch size 目前只能为1
LCFCN代码 https://github.com/ElementAI/LCFCN

核心概念loss 介绍

该网络的核心概念是loss，主干网络就是传统的Encoder-Decoder结构的分割网络。LCFCN的loss由四部分组成，分别是Image-level loss、Point-level loss、Split-level loss、False positive loss。

Image-level loss

图像水平的loss公式如下所示，其中CeC_eCe为图片中出现的类别集合，包括背景类。对于CeC_eCe中的每一类，该loss鼓励模型输出至少有一个像素点被预测为该类。¬Ce\neg C_e¬Ce表示图像中没有出现过的类别，该loss会降低任意像素点被预测为该类的概率。tc=argmaxi∈It_c=argmax_{i \in I}tc=argmaxi∈I，SicS_{ic}Sic表示像素i属于类别C的概率。

Point-level loss

该项loss鼓励模型正确地预测包含在真实标签中的有监督像素小集合IsI_sIs，IsI_sIs代表对象实例的位置。定义为：

其中TiT_iTi代表像素i的真实标签。值得注意的是这项loss忽略了没有标注的全部像素。

False Positive loss

LFL_FLF不鼓励模型预测一个不包含对象的blob，为了减少虚警的预测。这个损失函数如下：

其中BfpB_{fp}Bfp是像素组成的blobs预测每个类别（除了背景类别外）中不包含ground truth点标注的。注意Si0S_{i0}Si0是像素i属于背景类别的概率。在BfpB_{fp}Bfp预测的所有结果被认为是虚警的情况。也就是在训练的时候对预测为前景的不包含ground truth点的blobs进行惩罚。因此，优化这项loss能够让虚警更少的出现。这对计数来说非常重要。

Split-level loss

LSL_SLS不鼓励模型预测blobs（有两个或更多的点的标注的像素团）。因此，如果一个blob包含n个标注的点（每个点代表一个对象），这个loss就强迫它分成n个blobs，每个blob是相应独一无二的对象。这些分割是通过先发现对象间的边界得到的。模型然后来学习预测这些边界作为背景类。模型输出一个二值的矩阵F其中像素i满足条件argmaxkSik>0argmax_kS_{ik} > 0argmaxkSik>0为前景其余的是背景。

代码的是实现是使用from skimage import morphology.label（C++ connectedComponentsWithStats）来找连通域。在训练的时候对包含多个ground truth点的blobs进行分离，来构造Target。论文提出了两种方法：1.直线分割法 2. 漫水分割法

用过pytorch的朋友都知道，pytorch中需要手动对梯度进行清零，所以如果不清零，那么就可以对梯度进行累加了，梯度累加的作用很多，比如可以用在多任务训练的时候，另外在内存大小不够的情况下叠加多个batch的grad作为一个更大的batch进行迭代，因为二者得到的梯度是等价的。这种梯度累加的思路是对内存的非常友好的。

由于LCFCN模型在训练的过程中用到了“漫水分割法”，所以限制了该模型在训练的时候batch size只能为1，但是batch size为1对于模型来说很难捕捉到数据分布的共性，所以也比较难收敛，所以为了解决这个问题我用到了”梯度累加“这个办法，即对多个样本的loss进行取平均再去优化模型，这样做除了BN层和真正的batch size > 1不同以外，其余的没什么区别了。(修改源码中的utils.py文件即可)。

# 修改batch size
bs = 16def fit(model, dataloader, opt, loss_function, epoch):model.train()n_samples = len(dataloader.dataset)n_batches = len(dataloader)print("Training Epoch {} .... {} batches".format(epoch, n_batches))train_dict = {}loss_sum = 0.for i, batch in enumerate(dataloader):loss = loss_function(model, batch)loss = loss / bs                                                                                       loss.backward()                                                                                        if i % bs == 0 and i != 0:                                                                             opt.step()                                                                                         opt.zero_grad()                                                                                    #print("Optimized.")                                                                               loss_sum += loss.item() * bs                                                                           if (i % 50) == 0 or i == (n_batches - 1):                                                              print("{} - ({}/{}) - split: {} - loss: {:.2f}".format(epoch, i, n_batches, dataloader.dataset.split, loss_sum / max(
1., i)))# train                                                                                                    train_dict["loss"] = loss_sum / n_batches                                                                  train_dict["epoch"] = epoch                                                                                train_dict["n_samples"] = n_samples                                                                        train_dict["iterations"] = n_batches                                                                       return train_dict

参考

https://www.zhihu.com/question/303070254/answer/573037166