介绍

英文题目：EHR Coding with Multi-scale Feature Attention and Structured Knowledge Graph Propagation
中文题目：基于多尺度特征关注和结构化知识图传播的EHR编码
论文地址：https://sci-hubtw.hkvisa.net/10.1145/3357384.3357897
领域：自然语言处理，生物医疗，ICD编码
发表时间：2019
作者：Xiancheng Xie等，复旦大学
出处：ACM CIKM
被引量：25
阅读时间：2022.06.16

读后感

很好地结合了现有的资源和方法：利用编码的内在关系，结合了注意力机制，知识图谱，密连接网络等方法。

泛读

针对问题：ICD自动编码
核心方法：
- 通过对每个词上下文邻居的n-gram，选择多尺度特征
- 利用ICD标签的语义：编码越相近，含义越相近，利用图卷积网络捕捉ICD编码的层次关系和语义
- 基于ICD标签的注意力；结合多尺度特征，用注意力选择信息量最大的n-gram特征
理解程度：
- 一个半小时精读，又花了约两小时整理成文。

方法

概览

论文将问题定义为多标签分类问题。方法由三部分组成：

提取多尺度特征（图上）
两层注意力机制更好地计算输入文本的表征（图中）
用知识图谱迭代计算ICD表征（图下）

符号定义

其它符号：m表示医生输入串的长度，n表示ICD编码描述文本的长度，d表示维度。

嵌入层

用X表示词嵌入，利用word2vec的连续词袋(CBOW)对训练集中的所有文本进行预训练，词嵌入大小为100，窗口为5，5次迭代。

密连接卷积层

CNN由K个卷积块通过密连接堆叠而成，用Xk表示第k个卷积块的输出，Xk计算方法如下：

其中中括号表示串联，Xk由前k-1层输出串联(图中红线)后，与参数W通过函数F计算出Xk，W是卷积核。为了保持字符串的长度一致，使用zero-padding填充。由于使用了卷积，Xk可被视为n-gram特征，通过卷积逐层抽象；再用concat将各层抽象连接起来，生成了多尺度特征。

注意力层

多尺度特征注意力

如图-3所示，对于每个位置i，注意力机制根据其k个层的特征（k个尺度/k-gram）计算权重分布。步骤包括聚合和筛选。
聚合：用s作为xi在第k层的表示，它聚合了各个维度：

然后，计算注意力权重，用于选择携带信息最多的尺度：

函数F是一个多层感知机，上式计算了每一层(1~k)的权重。
再用各种权重给各层的输出加权：

最终通过串联，产生了所有位置加权后的Xscale：

它将被传入下一个attention层。

ICD标签注意力

在文本分类任务中，一般使用平均池化或最大池化处理各维度。针对多标签任务，不同ICD编码可能关注不同局部文本，因此，使用基于ICD标签的注意力来选择最相关的短语。对于每个标签，使用了线性池化：

不同的标签记作 l，vl是标签的向量表示，这里的注意力a用于计算基于标签的输入文本的向量表示：

知识图迭代

加入知识图是为了引入ICD编码之间的层级关系和相关性。如果只使用ICD编码，对于每种编码都需要一些实例参与训练，论文使用了ICD编码ID对应的描述文本，句中各词记作{w1,w2,…wn}。

标签向量v的计算方法如下：

先计算标签描述文本中的每个位置 i，结合其自身self，其父类p和子类c，在上一次迭代时的表示，分别加权计算当前的表示，F为激活函数。各个节点的初值是通过训练数据训练出来的自然语言模型得到的。

输出层

输出层结合了X和V，利用sigmod计算出对应各个ICD编码的概率。

计算出的 Pl 是概率值，常见的方法是使用阈值 0.5 来判别类别标签的是与否。而训练集中的每个类别，负例明显多于正例，使其结果偏向负例。为了优化阈值，使用了回归方法：

使用该方法后，阈值也是拟合出来的。其中g为最大池化，用于生成文本的全局表征，W是回归参数。

最终的损失函数结合了(8)和(9)的误差：

其中λ是权重，用于调整二者的比例。

论文阅读_ICD编码_MSATT-KG相关推荐

[论文阅读笔记17]A Survey on Knowledge Graph-Based Recommender Systems
一,题目 TKDE 2020 A Survey on Knowledge Graph-Based Recommender Systems 综述:基于知识图谱的推荐系统 In IEEE Transact ...
WSDM 2022 推荐系统论文阅读（中）
继续上一篇文章来阅读WSDM 2022中推荐系统的论文: WSDM 2022 推荐系统论文阅读(上) 声明:本论文阅读笔记主要是对论文摘要的概括,评论仅代表个人的阅读观点,欢迎大家在评论区讨论! 1. ...
多目标跟踪：CVPR2019论文阅读
多目标跟踪:CVPR2019论文阅读 Robust Multi-Modality Multi-Object Tracking 论文链接:https://arxiv.org/abs/1909.03850 ...
快速人体姿态估计：CVPR2019论文阅读
快速人体姿态估计:CVPR2019论文阅读 Fast Human Pose Estimation 论文链接: http://openaccess.thecvf.com/content_CVPR_201 ...
深度学习点云语义分割：CVPR2019论文阅读
深度学习点云语义分割:CVPR2019论文阅读 Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning 摘要本 ...
3D目标检测论文阅读摘要
3D目标检测论文阅读摘要 2D Object Detection 的研究已经非常成熟了,代表作品有RPN系列的FasterRCNN,One Shot系列的YOLOv1-YOLOv3,这里推荐一个2D ...
[论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测（经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（4）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](4) The challenges of using graphs in ...

论文阅读_ICD编码_MSATT-KG

介绍

读后感

泛读

方法

概览