Generalised Dice Overlap as a Deep Learning Loss Function for Highly Unbalanced Segmentations

一.摘要：

1.问题：无论是2D还是3D分割都会出现数据不平衡的问题

为了解决这个问题，提出了加权交叉熵损失，灵敏度损失,和dice损失

2.我们做了什么？

调查了不同损失函数对不平衡标签下，学习率不同的灵敏度

3.我们的成果？

提出Generalised Dice overlap,对于类不平衡系数

二.介绍：

概述：对于病理图像中，只有一小部分代表病变区域，所以会产生一些类别不平衡问题

现有方法：

1.提出了通过选择样本，这些样本是经过分析的[3,5]

2.另一种是提出了一些损失函数，[1,8,9].

我们的贡献：

1.调查了三个不同损失函数，如加权交叉熵，dice,灵敏度对学习率和采样率的表现

2.同时我们还提出了使用Generalised Dice

三.方法：

n代表一共多少个像素，p代表属于n之中的某一个像素的概率，

2.分类dice loss,其中e是为了防止分母为0的情况:

3.ss loss：

4.gdl loss (gernalized dice loss):

,相当于标准化了，

实验结果：

使用两种类型的网络2D(unet,双通道网络)和3D(deepmedic,HighResNet)

块大小，bacthsize大小,以及对应感受野大小，以及不平衡率

不同尺度块，不同网络,以及不同损失函数所得到的dice值(相对于2D网络)

等值图（2d）(线性插值了等值图)：

对于2D：

1.对于WCE和DL2处理大的学习率的时候能力不足，而ss的表现更依赖于网络.

2.10的负4次方的学习率为最佳的学习率在所有例子中.

3.根据所有的例子，小的块大的batch_size表现更佳

3D：

1.在3D网络中数据更加不平衡,WCE几乎不能训练，SS的表现严重下降,DL2在低学习率的时候表现与GDL差不多，而在高学习率的时候不能训练。

2.在学习速率方面观察到与2D情况类似的模式，学习率为10 -5在3000次迭代后不能保持较平稳的曲线。我们还观察到学习速率对较小块的网络影响更大，但是在适当的条件下（LR = 10 -4），较小的块（和较大的批量）导致更高的整体性能

四.总结：

1.GDL更加鲁棒

2.当前的一些损失函数对轻微的数据不平衡都能很好的解决，但是当数据不平和级别上升的时候，最好的损失函数是GDL，