在基于深度学习的图像分割中利用持续同调引入显式拓扑学约束

Motivation

目前主流的图像分割框架都是类似全卷积方式的多尺度框架(U-Net等), 虽然他们能够利用图像邻域关系来辅助逐像素的分割,但是损失函数依然只独立地考虑每个像素点, 并不能考虑高阶的拓扑学结构. 因此往往会导致即使有比较低的逐像素的loss, 然是会造成拓扑学结构的改变, 从而带来分割结果的显著恶化(断裂或空洞等现象). --> 因此需要一种 topological-aware 的 loss function.

现有的引入拓扑学约束的图像分割框架

正是因为在 deep learning 的框架中需要反向传播, 所以拓扑约束的可微性 (differentiable) 决定了现有拓扑约束方法只能隐式结合到 deep learning-based 分割框架中. --> 导致不能显示的控制到底学习到了什么样的拓扑特征 (比如上图显然是需要一个圆环结构). 具体来说有下面几种方法:

专门设计另外一个网络来处理分割结果和金标准之间的拓扑学差异 (Beyond the pixel-wise loss for topology-aware delineation).
用自动编码器定义loss function (Anatomically constrained neural networks)
类似于修正adjacency关系的工作

创新点

引入拓扑数据分析的持续同调方法 (Persistent homology) 来量化图像中所有拓扑特征的稳定性. 在此基础上提供逐像素的拓扑损失函数, 来增加或者减少分割中所需要的拓扑结构的 persistence. 以这样的方式就可以确保拓扑损失函数的可微性, 并且容易将其集成到现有的分割框架中, 而不用对网络进行专门的设计.

方法

持续同调

简单理解上述持续同调技术: 不同阈值会得到不同的利用 Betti 数计算的拓扑特征, 随着阈值取的慢慢变化, 造成拓扑结构的生成和消逝. 对于特定拓扑结构其生成和消逝的阈值范围即其生命周期, 也就是所谓的 persistence.
拓扑学的逐像素梯度

这里注意本篇文章的局限性出来了, 即只能做给定的拓扑形状 (给定的 Betti number), 然后根据对应的 persistence bar的长度来迭代式的调整那些像素需要被修正 (即上面的 S 矩阵改变和 G 矩阵调整的过程).

总结

其实本文的创新性还是值得肯定的, 第一个以可微的方式将拓扑约束引入 deep learning 优化框架中. 但是其局限性也很明显, 就是只能处理具有比较强的先验知识的分割案例 (如上面所示的具有环状结构的心肌组织). 因此在通用性上, 如果能够用一种方法从任意的图像中学到某些通用的拓扑特征 (并不是给定的 Betti number) 可能对该方法的更广泛的应用具有更好的意义.

PS:

关于持续同调的详细讲解感兴趣的小伙伴可以参考 https://www.youtube.com/watch?v=h0bnG1Wavag. 讲解还是挺详细的.

利用持续同调在基于深度学习的分割框架中引入显式的拓扑学约束相关推荐

基于深度学习网络在Airsim中的自动驾驶
**Airsim仿真平台介绍及模型建立** Airsim是一款基于Unreal Engine构建的无人机.汽车等模拟器的开源平台,并且可以跨平台的通过PX4飞行控制器进行仿真控制,在物理和视觉上逼真的 ...
超详综述 | 基于深度学习的命名实体识别
©PaperWeekly 原创 · 作者|马敏博单位|西南交通大学硕士生研究方向|命名实体识别论文名称:A Survey on Deep Learning for Named Entity Re ...
基于深度学习的OCR-from 美團技術團隊
https://www.jisuapi.com/api/12 行数据的话可以参考 https://github.com/wanghaisheng/awesome-ocr/wiki/Training- ...
基于深度学习的表面缺陷检测方法综述-论文阅读笔记
//2022.3.2日阅读笔记原文链接:基于深度学习的表面缺陷检测方法综述 (aas.net.cn) 个人对本篇综述内容的大致概括论文首先介绍了表面缺陷检测中不同场景下的成像方案,主要根据表面颜色 ...
论文精读：基于深度学习的表面缺陷检测方法综述
摘要: 基于表面缺陷检测方法,根据数据标签的不同将其分为全监督学习模型方法.无监督学习模型方法和其他方法.细分归类,对比分析,总结每种方法优缺点,应用场景. Introduction ...
基于深度学习的人工林地面激光扫描点云立木特征参数提取方法
Paper题目:A Deep Learning-Based Method for Extracting Standing Wood Feature Parameters from Terrestria ...
基于深度学习的宋词生成
<自然语言处理>课程报告摘要宋词是一种相对于古体诗的新体诗歌之一,为宋代儒客文人智慧精华,标志宋代文学的最高成就.宋词生成属于自然语言处理领域的文本生成模块,当前文本生成领域主要包括 ...
从传统的图像压缩到基于深度学习的图像压缩
传统图像压缩简述早期的图像压缩方法直接利用熵编码减少图像的编码冗余来实现压缩,例如,霍夫曼(Huffman)编码,算术编码,上下文自适应二进制算术编码. 在20世纪 60年代后期基于图像变换的压缩 ...
AI-无损检测方向速读：基于深度学习的表面缺陷检测方法综述
1 表面缺陷检测的概念表面缺陷检测是机器视觉领域中非常重要的一项研究内容, 也称为 AOI (Automated optical inspection) 或 ASI (Automated surfa ...
推荐算法普查（基于深度学习）
摘要深度学习已经成为推荐算法研究者们理想的选择.随着机器学习领域研究兴趣的强力增长,已经很难跟踪谁才是TopN推荐问题的最先进算法.与此同时,最近有几篇文章指出现在机器学习领域实践方面的一些问题,比 ...

利用持续同调在基于深度学习的分割框架中引入显式的拓扑学约束

在基于深度学习的图像分割中利用持续同调引入显式拓扑学约束

Motivation

现有的引入拓扑学约束的图像分割框架

创新点

方法

总结

PS:

利用持续同调在基于深度学习的分割框架中引入显式的拓扑学约束相关推荐

最新文章

热门文章