CVPR 2020 | 利用强化学习进行交互式3D医学图像分割
点击上方“视学算法”,选择“星标”
快速获得最新干货
本文转载自:机器之心
如何提高交互式图像分割算法的效率?上海交大和华师大的研究者提出了一种基于多智能体深度强化学习的新型算法。
现有的交互式图像分割算法虽然能迭代式地更新分割结果,但很大程度上忽略了对连续交互之间动态性的探索,造成分割效率大大降低。
在 CVPR 2020 的一篇论文中,来自上海交大和华师大的团队联合提出了一种基于多智能体深度强化学习(MARL)的新型交互式三维医疗图像分割算法(IteR-MRL)。通过将迭代更新的交互式图像分割的动态过程建模成马尔可夫过程,并使用 MARL 解决,IteR-MRL 实现了更少的交互次数和更快的收敛速度,在多个医疗图像数据集上超过了现有算法。
论文地址:https://arxiv.org/abs/1911.10334
现有交互式图像分割策略的缺点
目前的三维图像自动分割算法很难达到医用标准。为了得到更佳的分割结果,交互式的图像分割策略成为有价值的研究方向,此类策略通过引入少量的用户提示实现对分割结果的迭代优化。
现有的交互式算法虽然能迭代式地对分割结果进行多轮更新,但它们仍然独立地考虑每一轮更新的分割结果,很大程度上忽略了连续交互的动态性。
该研究的贡献
为了更好地利用交互式图像分割的动态性,来自上海交大和华师大的团队提出了一个基于深度强化学习的算法 IteR-MRL,将交互式医疗图像分割的动态过程建模成一个马尔科夫决策过程,然后用深度强化学习求解。该算法从整体上考虑分割更新序列,充分挖掘了交互分割前后的关联。
由于体素级的图像分割标注任务会造成单智能体的强化学习算法遭遇探索空间爆炸问题,因此该团队采用多智能体模型,将每个图像体素看作一个智能体。通过让所有智能体共享同一个行为策略,将探索空间减小到了可行的范围。多智能体模型还能同时实现图像体素的合作交互,从而有效地捕捉分割任务中体素之间的依赖性。
该研究的贡献主要有以下三点:
(1)将交互式图像分割任务建模成一个马尔科夫决策过程,提出了全新的基于 MARL 的交互式三维医疗图像分割框架,使得用户的交互得到更有效地利用;
(2)通过分割概率的形式来保留分割结果的不确定性,丰富了之前分割结果的信息,也实现了更加精确和精细的分割调整;
(3)实验表明,通过考虑连续两次分割结果之间的相对增益,分割效果得到显著提升,并具备更少的交互次数和更快的收敛速度。
方法概览
迭代式交互图像分割方法的流程图。
该研究采用迭代更新的流程。首先向模型提供初始的粗分割结果(可以来自任意图像分割算法或不精确的人工标注)。如果当前分割结果不符合预期,则用户在错误区域标注关键性的提示信息,更新算法根据用户提示再次更新分割结果。上述过程不断迭代,直至用户对优化后的分割结果满意为止。
基于 MARL 的交互式图像分割框架(IteR-MRL)
IteR-MRL 算法图示。
在每一步交互更新中,将包含图像、之前分割结果和提示图的当前状态输入到 FCN 网络中,然后网络根据其输出的动作产生当前的分割结果。接着,用户根据错误区域给出的提示点(红点),进而生成新的提示图。每一步的回报值都由环境决定,即分割的预测标签和正确标签。在 MARL 的设定中,体素被看作是互相协作的智能体。
1. 状态设计
每个智能体的状态由体素值、之前分割概率和提示图上对应的值组成,两张提示图分别代表了用户给出的正负提示。分割概率能够保留模型之前输出结果的不确定性。
2. 动作设计
基于之前分割概率,每个智能体的动作是预测基于之前分割结果的改变量。将改变量施加到之前分割结果上,生成新的分割结果。动作空间由 K 个动作组成,使得智能体可以在不同情况下进行有针对性的多样化调整。
3. 回报设计
每个智能体的回报被设计为当前预测结果与正确标签之间的交叉熵变化量。这样的相对性能回报是基于性能变化趋势的,我们可以同时得知性能变化的方向及程度。比起一个遥远的目标,相对性能可以给智能体提供一条可供对比的基线,并超越。
实验
对比实验
1. 与不同初始分割算法的组合
更新算法以四种不同的初始分割算法的分割结果作为其初始分割结果。比起其他三种现有的更新算法,不论初始分割算法如何选择,IteR-MRL 都拥有更好的性能。这表明了该算法的鲁棒性和普适性。
2. 一个交互序列中的性能提升
在其他算法的每步性能提升缓慢时,IteR-MRL 仍能保持相对高的性能提升,这证明了在交互式分割任务中考虑动态性可以有效且快速地提升性能。每一步相对高的性能提升逐渐累积,使得最终算法达到好的分割精度。
3. 分割结果可视化对比
从上图中可以观察到,当其他算法倾向于产生相对光滑的分割轮廓时,IteR-MRL 算法在捕捉物体边缘细节信息时表现更佳。
4. 不同数据集的性能对比
该实验证明 IteR-MRL 算法对于数据集的鲁棒性,在脑部肿瘤、心脏和前列腺数据集上都拥有稳定的表现。
控制变量实验
1. 不同动作与状态设定的组合
数值小的动作比数值大的动作拥有更好的性能,且能够提供多样化的调整尺度,使得模型动作更加充足,从而达到好的性能。
2. 回报的设计对性能的影响
基于相对性能增益的回报具备更优秀的效果,原因是相对增益能够更好地反映智能体对分割概率的调整。
有用,点个赞
CVPR 2020 | 利用强化学习进行交互式3D医学图像分割相关推荐
- 【深度学习】V-Net 3D医学图像分割 Dice loss 损失
论文:https://arxiv.org/abs/1606.04797 论文 本文引入Dice coefficient 去处理医学3D图像里面 前景和背景体素数量严重不平衡的情况. 网络用于处理3D图 ...
- ML之RL:基于MovieLens电影评分数据集利用强化学习算法(多臂老虎机+EpsilonGreedy策略)实现对用户进行Top电影推荐案例
ML之RL:基于MovieLens电影评分数据集利用强化学习算法(多臂老虎机+EpsilonGreedy策略)实现对用户进行Top电影推荐案例 目录 基于MovieLens电影评分数据集利用强化学习算 ...
- RL之SARSA:利用强化学习之SARSA实现走迷宫—训练智能体走到迷宫(复杂陷阱迷宫)的宝藏位置
RL之SARSA:利用强化学习之SARSA实现走迷宫-训练智能体走到迷宫(复杂陷阱迷宫)的宝藏位置 目录 输出结果 设计思路 实现代码 测试记录全过程 输出结果 设计思路 实现代码 后期更新-- 测试 ...
- RL之Q Learning:利用强化学习之Q Learning实现走迷宫—训练智能体走到迷宫(复杂迷宫)的宝藏位置
RL之Q Learning:利用强化学习之Q Learning实现走迷宫-训练智能体走到迷宫(复杂迷宫)的宝藏位置 目录 输出结果 设计思路 实现代码 测试记录全过程 输出结果 设计思路 实现代码 f ...
- RL之Q Learning:利用强化学习之Q Learning实现走迷宫—训练智能体走到迷宫(简单迷宫)的宝藏位置
RL之Q Learning:利用强化学习之Q Learning实现走迷宫-训练智能体走到迷宫(简单迷宫)的宝藏位置 目录 输出结果 设计思路 实现代码 测试记录全过程 输出结果 设计思路 实现代码 f ...
- 强化学习能挑战众多世界冠军,人类亦能利用强化学习成为冠军
如今,强化学习不仅成了学术界的宠儿,相关研究论文在各大顶会中的比例飞速上升:也在不断挑战冠军,突破记录,成为了AI开发的热门领域,比如击败围棋世界冠军的Alpha Go,就引起了大家对AI的广泛关注. ...
- 深度学习实战(十):使用 PyTorch 进行 3D 医学图像分割
深度学习实战(十):使用 PyTorch 进行 3D 医学图像分割 1. 项目简介 2. 3D医学图像分割的需求 3. 医学图像和MRI 4. 三维医学图像表示 5. 3D-Unet模型 5.1损失函 ...
- (新SOTA)UNETR++:轻量级的、高效、准确的共享权重的3D医学图像分割
(新SOTA)UNETR++:轻量级的.高效.准确的共享权重的3D医学图像分割 0 Abstract 由于Transformer模型的成功,最近的工作研究了它们在3D医学分割任务中的适用性.在Tran ...
- Neuron 2020 | 深度强化学习和神经科学
作者 | 涂心琪 审稿 | 李梓盟 今天给大家介绍DeepMind人工智能研究团队负责人Matthew Botvinick在Neuron上发表的文章"Deep Reinforcement L ...
最新文章
- Python Web学习笔记之Python多线程基础
- google android广告异步加载,谷歌广告异步代码和同步代码的解决方法
- Altium Designer20 PCB板子绘制
- 前后端分离 前端页面验证码没有显示
- Android中获取IMEI码及其它相关信息的源码
- iis服务器网站启动不了,IIS上打不开asp网站怎么办
- 24年未遇之奇景再等等 Intel旗舰显卡曝5-6月发布
- 中国被黑站点统计系统 2006年9月分析报告
- Apache Kafka-auto.offset.reset参数(earliest、latest、none)含义说明
- 了解云的一些基本概念
- HP服务器booting embedded lom 1 port 1 hpe ethernet 1gb 4-port 331i adapter处理
- hypervisor - qnx
- Ubuntu 10.04 安装声卡驱动
- 字母数字混合提取数字C语言,如何将包含汉字,字母和数字的混合字符串转换为纯数字...
- pfam基本介绍,以及蛋白质序列下载
- html 气泡动画效果,css3实现好看的气泡按钮动画特效
- 红米Note 4X获得Root超级权限的经验
- JAVA计算机毕业设计郑工社团交流服务信息平台Mybatis+源码+数据库+lw文档+系统+调试部署
- 目标版插入模块驱动时出现version magic 与 驱动模块插入成功但是不能卸载的解决办法
- Tableau 合集3:格式设置之可视化图显示百分比和提示工具对齐问题