Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation（探索和提炼后验和先验知识的放射学报告生成）

先验与后验
目前的放射学报告生成的局限性
Paper的贡献
模型详解
- 模型输入
- 模型主要部分

先验与后验

在阅读这篇Paper之前，我们首先需要明确什么是先验和后验。先验是指根据以往经验和分析，而后验是指基于新的数据，对原来的先验修正。
通俗而言，
先验知识：这些柿子红了，肯定已经熟了
后验知识：我刚刚吃了柿子，已经熟透了

目前的放射学报告生成的局限性

目前的大多数的放射学报告都采用encoder-decoder结构，比如CNN-HRNN等，CNN从整个图像中提取图像特征，然后由HRNN生成报告。
这样的是直接将image-caption方法引入到了放射学报告生成这一领域，未免太粗暴了一些，会产生以下两个问题：

Visual data deviation:数据集中正常图像是多数，而异常是少数，其次，正常图像的外观大大优于异常图像，会分散模型的注意力，使其无法准确捕捉罕见且多样的异常区域特征
Textual data deviation: 一份放射学报告，医生倾向于在衣服图像中描述所有的项目，使得对正常区域的描述占了主导，这样就会导致文本分布的极不平衡，使用这样的数据集进行训练就会导致模型无法定位关键异常，例如HRNN就只能生成一些重复的正常句，并不能描述异常。在放射学报告中，产生异常的正确性应比其他正常情况更受重视，而在自然图像段落中，每句话都具有同等的重要性。

这里解释HRNN的原理，HRNN——分层循环神经网络，可以用来生成长且语义连贯的段落来描述输入图像，HRNN用两级RNN，一个段落RNN，一个句子RNN，段落RNN生成主题向量，句子RNN对每一个主题向量生成句子描述图像

Paper的贡献

为了缓解数据偏差问题，本文提出了后验和先验知识探索和提取方法，包括后验和先验知识探索器(PoKE和PrKE)和多领域知识提取器(MKD)。
PoKE使用疾病的词袋探索后验知识，捕捉罕见、多样和重要的异常区域;PrKE从以前的工作经验和以前的医学知识中探索以前的知识;MKD将提取的知识提取出来生成报告。
通过对IU-Xray和MIMIC-CXR公开数据集的实验和分析，验证了该方法的有效性，在这两个数据集上，该方法的性能优于目前最先进的模型。

模型详解

模型输入

PPKED需要的输入：Image Embedding、Word Embedding（包含大部分常见的abnormalities和findings）、先验工作经验、先验医学知识，一共四部分
Image Embedding：利用ResNet152 提取2048个 7*7的特征图，然后把它们映射到512维上
Word Embedding: 实验中，选择了20个最常见的异常主题，例如心脏肿大、脊柱侧凸、骨折等等。
先验的工作经验：从ResNet-152的最后一个平均池化层提取image embedding，这个image embedding是针对所有图像的; 然后对于给定一张图片。在语料库中找与输入图像余弦相似度最高的100张图片，将这样检索到的100张图片的报告用BERT和一个最大池化连接层进行编码，以此得到工作经验
先验医学知识：构建一张医学图。词袋中的主题被设置为节点，根据它们相关的器官和身体部分进行分组；对于分在一起的主题用边连接起来，用图卷积神经网络提取先验医学知识（一组节点）When radiology report generation meets knowledge graph.

模型主要部分

PoKE: 从输入的图像中提取后验知识，对图像进行编码，然后根据余弦相似度过滤掉不想关的主题，因为词袋中包含的是异常的主题，所以这样就可以找到异常区域，还可以将参与的异常区域和相关主题进行对齐，模拟放射科医生在检查异常区域时将疾病主题分配给异常区域的工作模式，对齐后直接相加经过LayerNorm就得到了图像的后验知识，这些后验知识被称为放射科医生检查异常区域的第一印象
PrKE: 由先前工作经验和先前医学知识组成，分别用Wpr和Gpr来表示，通过这两个部分来处理PoKE中的后验知识，就可以获得输入图像异常区域的先验知识
MKD: 获得先验与后验知识后，MKD作为解码器来生成最终的放射学报告；MKD将词嵌入和位置嵌入和作为输入

Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation相关推荐

【论文笔记】Exploring and Distilling Posterior and Prior Knowledge for Radiology Report ... (CVPR 2021)
论文原文:https://arxiv.org/pdf/2106.06963.pdf 参考:https://blog.csdn.net/qq_45645521/article/details/12349 ...
文献学习(part7)--A strategy to incorporate prior knowledge into correlation network cutoff selection
学习笔记,仅供参考,有错必纠文章目录 A strategy to incorporate prior knowledge into correlation network cutoff select ...
Calibrate: LDP via Incorporating Prior Knowledge
Calibrate: Frequency Estimation and Heavy Hitter Identification with Local Differential Privacy via ...
【深度学习】A model-based gait recognition method with body pose and human prior knowledge
标题:A model-based gait recognition method with body pose and human prior knowledge 概要作者提出了一个新的基于模型的步 ...
【论文阅读】Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization
本文在参考一些网上资料的基础上,对该论文的思想和重要步骤作出了总结,也加入了在与身边朋友讨论的过程中对文章更细致深入的理解的内容,同时包含了自己在阅读中发现需要了解的背景知识的简单介绍. 目录概述 ...
计算机视觉论文-2021-06-15
本专栏是计算机视觉方向论文收集积累,时间:2021年6月15日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔 ...
CVPR 2021 论文大盘点-医学影像篇
关注公众号,发现CV技术之美本文总结医学影像相关论文,包含医学图像分割.医学图像合成.X射线检测等.共计 22 篇. 大家可以在: https://openaccess.thecvf.com/CVP ...
医学报告生成论文总结【4-24】
医学报告生成论文总结 4-24 前言一.Cross-modal Memory Networks for Radiology Report Generation 二.Radiology Report ...
医学报告生成论文阅读笔记
1.Transformers in Medical Imaging: A Survey 综述了Transformers在医学图像分割.检测.分类.重建.合成.配准.临床报告生成和其他任务中的应用. S ...
《预训练周刊》第4期：智源「悟道1.0」发布、GPT-3对新一代APP的赋能路径
No.04 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第4期< ...