读:H2-MIL: Exploring Hierarchical Representation with Heterogeneous Multiple Instance Learning for...
文章目录
- 前言
- 一、简介
- 1.背景
- 2.任务
- 3.数据集
- 4.idea
- 二、主要内容
- 网络整体框架:
- 1.带有resolution attribute属性的图
- 2.RAConv
- 3.IHPool
- 4.其他与整体
- 三、实验
- 四、总结
前言
论文来源:H2-MIL: Exploring Hierarchical Representation with Heterogeneous Multiple Instance Learning for Whole Slide Image Analysis (2022 AAAI)
code:https://github.com/lin-lcx/H2-MIL
一、简介
对于具有金字塔形多分辨率的wsi图像数据,现有方法无法完全利用其多尺度和异质的诊断信息。这篇文章提出了一种基于图神经网络的多实例学习框架,从多分辨率wsi的异质图中学习分层级的表示,用于后续任务
1.背景
multiscale and heterogeneous diagnostic information of different structures for comprehensive analysis in wsi(ranging from global level to cellular level)
多分辨率wsi中的信息,是多尺度的,异质的,比如说全局层级,组织级,细胞级,现有许多方法不能充分利用这种信息。
2.任务
一种形成MIL for wsi全局表示的框架
3.数据集
TCGA的esophageal cancer数据集和kidney cancer数据集
4.idea
- A heterogeneous graph with the “resolution” attribute( feature, spatial-scaling relationship)带attribute属性的异质图表示
- Resolution-aware attention convolution(RAConv( block to learn representation结合分辨率的注意力机制
- Iterative hierarchical pooling(IHPool) to aggregate the heterogeneous graph迭代的分等级池化
二、主要内容
网络整体框架:
首先,把一个多种分辨率层级的wsi,用带有resolution属性的异质图来表示,然后送入多个RAConv模块和IHPool模块组成的H2MIL网络,这也是网络的核心部分,这一部分就是图注意力卷积网络学习 的过程,结点结合邻居点的信息,不断聚合,提取出密集但是具有区分性的表示,挖掘可用于wsi分析的分等级的结构语义信息。最后根据学习到的表示,再使用一个wis-level的分类器来获取预测。
1.带有resolution attribute属性的图
异质图的构建有两个核心思想:
- 表示出空间和尺度关系
- 保留多分辨率patch的异质信息
一个异质图可以表示成下面这样
其中表示的是通过cnn提取出的多分辨率patch的feature embeddings
是图中的边,代表着patches之间的关系,有两种不同类型的关系:
- Spatial:空间关系,仅存在于同分辨率等级的patch间(图上蓝色实线,文中是连接了一个点和他周围相邻的8个点)
- Scaling:尺度关系,仅存在于同一位置,但是不同等级分辨率的patch间(图像灰色虚线,直接通过patch的位置对应,因为wsi不同分辨率等级的patch间本来就有对应)
文中一共使用了三个层级{Thumbnail,x5,x10},patch是通过简单的滑动窗口以及阈值方法来划分的, 这里一个x5等级的patch对应4个x10等级的patch,
是一个额外的属性集合,代表的是每个结点的resolution属性
构建的异质图具有下列的性质:
- Node: same feature dimension, unique resolution attribute
- Different resolution: unbalances number of nodes
- Dense graph:8-adjacent manner
2.RAConv
额外的resolution属性,带来了更丰富的信息,所以提出了一种新的图注意力卷积方法来处理这种有层级信息的异质图,基本思想:
- considers the heterogeneity of neighbors
- alleviates the bias caused by the imbalance number of heterogeneous neighbors when calculating the attention scores.
假设是第H2MIL网络第l层的图的隐藏表示,其中是结点的个数,d是每个节点的维度,层级的传播规则如下:
是对称归一化邻接矩阵,是该层要学习的参数矩阵,是激活函数,比如说Relu,这个就是最基本的图卷积的传播规则。在本文中,由于考虑到不同邻居结点(包括不同分辨率级别的),对消息传递有着不同的影响,作者设计了一种dual-stream attention策略来重新校准结点级别的attention。
a)首先考虑resolution
对一个结点v,将其在第r级分辨率的所有邻居结点表示为,对于第r层级分辨率,计算一个范例(prototype),文中直接用的是上的平均feature embedding,所以可以计算分辨率级attention score如下:
b)考虑节点级的 node-level
表示的是当前结点邻居结点的embedding,其中有
(也就是说它是在同一分辨率级计算的),
最终,v 到 v’的attention score 为,
结合文中的这种attention策略,前面的传播规则可以写为
在这个attention matrix中,第v行第v‘列就是前面计算的attention score
和之前2021年的方法HGAT(Yang et al. 2021).对比,每个点的特征降维都可以在RAConv中共享;不同分辨率级的node-level attention是单独计算并且通过resolution-level的attention score来重新校准,这样就可以防止异质结点数量不平衡带来的偏差。(HGAT中所有node-level attention score一起计算,然后和type-level 结合)
3.IHPool
WSI金字塔的异质图表示是很密集的,所以需要pooling层
目的:
- improve the receptive field
- reduce redundant calculation in the learning process
- Exploring latent structured information
原则:
- Always retain thumbnail to maintain the pyramid structure and global information
- Nodes to be pooled in each iteration are depended on the pooling results of corresponding low-resolution nodes
- Pooling centers are dynamically selected
- Node assignment are determined by combining spatial distance and fitness difference
4.其他与整体
经过了L层的H2-MIL之后,网络动态地提取到了一些粗糙的信息,他们可以看成是不同等级的组织的表示,比如g1和gl,将这些表示通过一个Readout层(全局平均或者最大池化),为每个子图生成一个表示,然后通过类似残差连接的结构,将这些信息聚合到一起(具体还没看代码),然后通过softamax层,获得最后的预测
损失函数
WSI分类任务采用交叉熵损失,目标损失为
M是样本数量,C是类别数目,Y是one-hot编码的标记矩阵,采用梯度下降法。
三、实验
Dataset: two public clinical WSI benchmark datasets from The Cancer Genome Atlas (TCGA) project
ESCA and KICA
Tasks: WSI classification (tumor typing and staging)
Pyramid: Thumbnail, x5 and x10
Methods:5-fold cross-validation
在两种任务的数据集上都明显优于现有的sota,H2-MIL对肿瘤分期有更明显的改善,作者认为因为IHPool探索的结构化信息可以反映肿瘤的聚集形态和浸润深度,这对肿瘤分期有重要的价值。
同时,还进行了消融实验来证明每个部分的有效性
多分辨率方案的研究
IHPool层数研究
可解释性
H2-MIL网络可以通过可视化的任务相关结构提供丰富的可解释性。所提出的网络可以在多个层次上有效地解构WSI,所提取的结构可以很好地描述肿瘤的聚集形态和浸润深度,这将有助于提高许多WSI分析任务的性能。图3中显示的其他情况也证实了这一观察结果
四、总结
暂无
读:H2-MIL: Exploring Hierarchical Representation with Heterogeneous Multiple Instance Learning for...相关推荐
- Visual Tracking with Online Multiple Instance Learning (MIL)目标跟踪论文笔记
1. 论文信息 论文标题 :Visual Tracking with Online Multiple Instance Learning 论文作者: Boris Babenko,University ...
- ObjecT4:On-line multiple instance learning (MIL)学习
原文链接:http://blog.csdn.net/ikerpeng/article/details/19235391 用到论文,直接看翻译. 文章:Robust object tracking wi ...
- 多示例学习 MIL(multiple instance learning) 理解
多示例学习举例:假如一段视频由很多张图组成,假如10000张,那么我们要判断视频里是否包含某一物体,比如气球.单张标注每一帧是否有气球太耗时,通常人们看一遍说这个视频里是否有气球,就得到了多示例学习的 ...
- 读:Predicting Lymph Node Metastasis Using Histopathological Images Based on Multiple Instance Lear
论文来源: Zhao Y , Yang F , Fang Y , et al. Predicting Lymph Node Metastasis Using Histopathological Ima ...
- 【论文解读|AAAI2021】HGSL - Heterogeneous Graph Structure Learning for Graph Neural Networks 图神经网络的异构图结构学习
文章目录 1 摘要 2 引言 相关工作 3 方法 3.1 特征图产生器 3.1.1 特征相似图 3.1.2特征传播图 3.2 语义图生成器 4 实验 5 结论 论文链接: http://shichua ...
- 【论文阅读|浅读】PGE:A Representation Learning Framework for Property Graphs
目录 前言 简介 ABSTRACT 1 INTRODUCTION 2 RELATED WORK 3 THE PGE FRAMEWORK 3.1 Problem Definition 3.2 The T ...
- WuYun: Exploring hierarchical skeleton-guidedmelody generation using ... 论文笔记
记录一下所阅读的大佬论文. 吴云:利用知识增强的深度学习探索分层骨骼引导的旋律生成 看标题一头雾水.. // 摘要写的很明了,用知识增强先生成旋律的重要音符来构建音乐结构,之后动态的(不理解)将装饰音 ...
- [论文阅读] Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning
论文地址:https://arxiv.org/abs/2203.06359 发表于:CVPR 22 Abstract 无示范的类增量学习是指在旧类样本无法保存的情况下,同时识别新旧两类.这是一项具有挑 ...
- 【论文泛读】4. 机器翻译:Neural Machine Translation by Jointly Learning to Align and Translate
更新进度:■■■■■■■■■■■■■■■■■■■■■■■|100% 理论上一周更一个经典论文 刚刚开始学习,写的不好,有错误麻烦大家留言给我啦 这位博主的笔记短小精炼,爱了爱了:点击跳转 目录 准备 ...
- Hierarchical Roofline Performance Analysis for Deep Learning Applications
Roofline 模型是劳伦斯伯克利国家实验室在2008年提出的一个性能模型,后续很多工作亦出自该实验室.考虑到分层 Roofline 这一概念已在先前的 Hierarchical Roofline ...
最新文章
- kafka 集群_单机版kafka集群部署
- c语言出圈游戏课设报告,c语言作业 出圈游戏
- python修改xml标签的值_对python修改xml文件的节点值方法详解
- 去重 属性_赛尔原创@EMNLP2020|开放域对话系统的属性一致性识别
- float 为什么可以表示很大的整数
- 我就喜欢不用图片做圆角之山顶角方法
- Spring Security JWT
- MySQL中json数据操作(转载)
- Qt_IOS环境搭建 Qt for ios Projector ERROR:This mkspec requires Xcode 4.3 or later
- 卷组删除pv_LVM 移除PV步骤
- POI生成动态模板PPT报告
- 摄影文件服务器,服务器和摄影摄像设备招标文件.pdf
- 【Computer Organization笔记08】指令系统概述,指令格式,寻址方式
- 简易网页(HTML)
- IIS发生意外错误0x8ffe2740 IIS不…
- 30个很有效的破冰游戏_20170513210952
- 关于微信小程序获取不到用户信息及头像,或获取“微信用户“等信息的处理解决方式
- jquery 插件 countdown.js 倒计时插件
- 【论文笔记之 SN-Net】Interactive Speech and Noise Modeling for Speech Enhancement
- 音速启动 便携 csdn_在安全模式下启动便携式Firefox