Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning

分享篇论文吧。
毕竟做的是医疗图像，还是讲究实用性为主。医疗的深度学习总的来说肯定是要滞后于机器视觉的，但应用型文章的出发点就是实用，很多在机器视觉上应用的很好的东西在医疗图像上往往效果很不好。这个也是数据决定的，一个好的算法工程师应该可以很好的应用各种算法在实际应用上。
Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning
这篇论文是MIA 2020新出的。阅读医疗图像的文章要是抱着看看这文章算法提出了什么以前没有的东西这种想法是不太正确的，毕竟实用最要紧。管他啥，效果好最重要。
先放结构图：

总的来讲这篇文章干了三件事：
第一：设计了一个无监督的encoder（也就是上图中粉红色的encoder）学习CT图的解剖学特征。
第二：设计了一个DenseBiasNet网络，可以快速训练，并且有点深监督的感觉。
第三：使用了一个困难区域的损失函数。
下面一个一个讲。
第一个encoder是一个在压缩领域很常用的网络，一个encoder+一个decoder，encoder压缩图像，decoder恢复成原图像，如果在压缩上就是可以提取出encoder压缩维度最低的特征当成是降维后的特征。道理也很简单，就是decoder能根据维度最低的特征恢复最完整的原始图像，那么最低维度的特征应该就是包含了图像绝大部分的信息，从而达到了对图像特征进行压缩的效果。数字图像处理一样的。下图是网络结构。损失函数是均方差损失。

这部分其实原理很简单，但是作者进行了一个很炫的包装，就是这种结构学习到的不是图像特征，而是CT的解剖学特征（其实就是图像特征），这听起来就很厉害了。而且是无监督学习，网络结构也简单。
第二部分是这个DenseBiasNet网络，总体结构图如下：

这个网络其实就是3Dunet的变体，最下面的DPA特征就是第一部分中我们提到的encoder。encoder先在无监督的训练中学习了CT的解剖学特征，训练好了以后，在DenseBiasNet中直接拿过来当成是特征提取器，用于提取图像的解剖学特征，这个encoder在整个DenseBiasNet的训练过程中参数是forzen的，也就是不对encoder进行训练。
DenseBiasNet网络最大的提点就是稠密的链接，可以看出每一个block出来的特征会和后面所有的block进行一个串联（concatenation）,这样子的话，最后一层的loss可以直接反向传播到最底层，不需要经过中间的层，这就达到了一个深监督的效果。具体的特征传递方式如下：

由于不同block之间的分辨率可能是不一样的，他采用了最大池化层的方式进行下采样，插值的方式进行上采样。
第三个就是它的损失函数，如果是一般的交叉熵损失函数，会覆盖整个图像，如下图中的左边第一个，而他们的函数会focus在分割不好的区域，也就是右边两个图。

这个损失函数也是很简单的原理

yn是GT(ground-truth),yn^ 是预测的值，I表示采样策略，|yn−yn^ | > T的时候，I=1，否则I=0，也就是说I=1的时候这个点的损失就会被计算，而I=0的时候表示这个点不会被计算到损失中，|yn−yn^| 表示预测值也实际值的绝对距离，如果这个距离很小，那么就认为是分割对了，那么久不计算他的损失，这样就达到了选择难分割点的效果。T可以控制这个误差，文中选了T=0.1.
后面的实验我就不讲了。总的来说，希望可以在这种应用的文章中学到一些如何把算法的长处用到实际应用中的思路吧。

Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning相关推荐

Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化
Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化 Neural Netw ...
《Neural networks and deep learning》概览
最近阅读了<Neural networks and deep learning>这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章& ...
（OPN）Onion Peel Networks for Deep Video Completion
文章地址:https://arxiv.org/abs/1908.08718 代码地址:GitHub - seoungwugoh/opn-demo: Onion-Peel Networks for De ...
【Deep Learning 二】课程一(Neural Networks and Deep Learning)，第二周（Basics of Neural Network programming）答案
课程一(Neural Networks and Deep Learning),第二周(Basics of Neural Network programming)答案 ----------------- ...
【Deep Learning 一】课程一(Neural Networks and Deep Learning)，第一周（Introduction to Deep Learning）答案
10个测验题: 1.What does the analogy "AI is the new electricity" refer to? (B) A. Through the ...
paper reading：[第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs
这篇论文发表在 2014 ICLR 会议,是第一篇研究将CNN泛化到非欧式空间的论文,老师给我的时候注明了这是"第一代GCN" . 主要贡献是将CNN泛化到非欧几里得空间,并提出两 ...
《神经网络与深度学习》（Michael Nielsen）Neural Networks and Deep Learning习题解答汇总
<神经网络与深度学习>(Michael Nielsen)1.6节完整程序解析第二章改进神经网络的学习方法 <神经网络与深度学习>Neural Networks and Dee ...
DL1 - Neural Networks and Deep Learning
title: DL1 - 什么神经网络和深度网络 date: 2019-08-05 02:40:57 tags: deeplearning categories: deeplearning Welco ...
2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social effect
[论文阅读笔记]2019_WWW_Dual graph attention networks for deep latent representation of multifaceted social ...
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social...》论文学习笔记
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recom ...

Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning

Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning相关推荐

最新文章

热门文章