MICCAI2019 多模分割相关论文笔记

Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis

这篇文章主要用多视图深度学习方法，通过阴道镜检查的图像数据（醋酸图像和碘图像）进行多角度的诊断（CDD）。

分析多视图医学图像数据的主要挑战是，如何有效地利用这些视图之间的有意义的相关性。作者开发了一种新的特征级融合（FLF）方法，该方法捕获了不同视图之间的全面关联，并充分利用了这两个视图中的信息。FLF方法基于注意力机制，并允许一个视图辅助另一种视图（单向融合（UFNet）），或者允许两个视图相互辅助（双向融合（BFNet）），以更好地促进特征学习。

介绍

阴道镜检查是宫颈癌的一种常用筛查方法，一般会生成多幅图像。在实践中，临床医生通常会同时分析乙酸图像和碘图像以识别潜在病变，以进行更准确的诊断。而以往的宫颈发育异常分析方法仅使用一个图像视图（即醋酸图像），可能不足以表征宫颈病变。由此作者设计了多视图学习框架来探索乙酸和碘的融合图片。

作者首先回顾了四种常见的多视图融合模型：
上图中（a）在图像级别进行融合，在通道维度拼接后输入网络。单个网络中学习，计算成本低，可能导致性能不稳定；（b）为分类器级融合，（c）为决策级融合，两者先各自提取好特征再融合，可能丢失有用信息；（d）为作者提出的在特征级别进行融合的方法（FLF）。

方法

1. 单向融合网络 Uni-Directional Fusion Network

输入一对乙酸和碘的ROI图像区域（使用Faster R-CNN 检测），在两条路径分别输出预测的类别。结构图如下所示：

两个自下而上的网络，主干网ResNet-50，最后一层进行融合
中间的辅助模块类似一个小UNet（没有连接）
通过乘法和加法将辅助模块的输出与主要路径的特征图合并：
损失函数为主辅两路损失的加权和

2.双向融合网络 Bi-directional Fusion Network

两张视图都是辅助视图和主视图，结构示意图如下：

即对单向融合的一个简单扩展。

实验结果

总结

单个网络不断下采样，每层内部采用残差结构，并将不同网络的同一层级相连，越底层连接使用的卷积层越多，没有采用跨级的连接和交叉连接，网络结构较为简单。

[MICCAI2019]Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis相关推荐

Multi task learning多任务学习背景简介
2020-06-16 23:22:33 本篇文章将介绍在机器学习中效果比较好的一种模式,多任务学习(Multi task Learning,MTL).已经有一篇机器之心翻译的很好的博文介绍多任务学习了 ...
[CVPR2016]Learning Deep Feature Representations with Domain Guided Dropout for Person Re-id
论文题目:Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identiﬁcation 还是 ...
关于 SAP Spartacus 电商云 UI feature level 的测试步骤
Feature Level 在 app.module.ts 里维护: 测试步骤注册一个新用户并登录. 将产品添加到购物车. 转到购物车页面更新产品数量和结帐. 停止服务器 ./spartacus. ...
SAP 电商云 Spartacus UI feature level 的一个测试
首先明确,SAP Spartacus feature level 设置在 app.module.ts 里: 我们查看 cart-totals.component.html 的一个例子. 如果当前 fe ...
什么是 SAP Spartacus UI 的 feature level
Spartacus 库的每个次要版本都包含新功能,这些功能通常是对现有组件的改进. 这些功能通常是用户所期望的,但在某些情况下,这些更新可能被视为破坏性更改,尤其是当您在特定行为或 DOM 结构之上构 ...
通过 Feature Level 动态控制 SAP Spartacus 的页面显示
ng-container 标签只在 design time 可见,运行时会完全从渲染出的 HTML 源代码里被移除.通过 ng-container 加上 SAP Spartacus 自定义实现的 cx ...
SAP ABAP 业务开关和 SAP 电商云的 Feature Level
这是 Jerry 2021 年的第 72 篇文章,也是汪子熙公众号总共第 349 篇原创文章. 基于 ABAP 技术栈的 SAP 产品,客户可以通过安装 Enhancement Package(增强包 ...
Multi Task Learning在工业界如何更胜一筹
摘要: 本文主要介绍多任务学习和单任务学习的对比优势以及在工业界的一些使用.如何从单任务学习转变为多任务学习?怎样使AUC和预估的准确率达到最佳?如何对实时性要求较高的在线应用更加友好?本文将以淘宝实 ...
论文阅读003：《Learning local feature descriptors with triplets and shallow convolutional neural networks》
论文链接:http://www.bmva.org/bmvc/2016/papers/paper119/paper119.pdf github链接:https://github.com/vbalnt/t ...

[MICCAI2019]Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis

Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis

介绍

方法

1. 单向融合网络 Uni-Directional Fusion Network

2.双向融合网络 Bi-directional Fusion Network

实验结果

总结

[MICCAI2019]Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis相关推荐

最新文章

热门文章