介绍

英文题目：A Neural Architecture for Automated ICD Coding
中文题目：ICD自动编码的神经体系结构
论文地址：http://www.cs.cmu.edu/~epxing/papers/2018/Xie_etal_acl18.pdf
领域：自然语言处理，生物医疗
发表时间：2018
作者：Pengtao Xie等，卡内基梅隆大学，北京大学
出处：ACL 2018
被引量：55
阅读时间：2022.06.18

读后感

论文主要挖掘了ICD编码之间的层级和相关性，同时还考虑到人工描述和ICD标准文本不同的语言风格，一对多的情况下，多个对应项的重要性排序，以及编码的协同和互斥。

泛读

针对问题：ICD自动编码
核心方法：
- 使用树和序列LSTM计算基于语义的ICD编码表示
- 使用对抗学习协调人工输入和ICD描述的语言风格
- 利用等张约束做重要性排序
- 利用注意力机制实现一对多、多对一映射
泛读后理解程度：
- 一个半小时精读，两个小时整理。

方法

概览

图-1左上描述的是人工书写的诊断信息，右上是ICD编码树，蓝色方块是处理流程，下方的ICD编码是模型输出。

树序列的 LSTM 编码

ICD编码模型希望在捕捉语义的同时也捕捉到编码的层次关系。

每个 ICD 编码对应一小段描述文字，使用普通SLSTM（序列LSTM）对每一条ICD项编码，使用TLSTM（树LSTM）构建整体的编码树(code tree)，以捕捉ICD编码的层次关系，每个树节点的输入向量是SLSTM产生的向量表示。

序列LSTM

序列LSTM就是最普通的LSTM，包含输入门i，输出门o，遗忘门f，和记忆单元c：

树序列LSTM

这里使用了双向树TLSTM，输入是ICD编码的层级关系和通过SLSTM提取的各节点的表示。具体包含自下而上和从上而下两部分，对树中各节点产生了对应的两个h表示。

自下而上时，编码C，有M个子编码，它的遗忘层计算了其m个子节点：

其中s是用SLSTM输出的各个节点的表示，h和c由其子节点的隐藏层和记忆单元组合得到。W,U,b是模型参数。叶节点无子节点，因此它只考虑s。

从上而下时，对于非根节点，计算方法如下：

其中带§上标的是父节点。由于根节点没有父节点，其h§就使用从上而上时计算出来的表示，它捕捉了其下所有子节点的语义信息，通过自上而下的计算，又迭代计入了其下的子节点。

最后，串联自上而下和自下而上的h作为节点的表示：h=[h↑; h↓]，从而获取了结构关系。

对于人工输入的诊断描述，也使用SLSTM编码。参数权重与计算ICD编码时SLSTM的参数权重绑定在一起。

注意力匹配

使用h代表人工描述的表示，u代表ICD代码的表示，M是某患者的描述个数，N表示ICD编码总量。当一个描述实例对应多个ICD编码时，K代表对应的ICD代码个数。各编码的重要程度不同，可以认为其余M-K个编码的重要程度为0。使用注意力机制计算重要性得分（u和h越相近，注意力权重越大）：

然后，进一步对注意力值做归一化，计算出该输入对应编码n的表示：

而后串联hn和un，并将其代入线性分类器，用于预测命中该编码的概率：
pn=sigmoid(wn⊺[h^n;un]+bn)p_n=sigmoid(w_n^\intercal[\hat h_n;u_n]+b_n)pn=sigmoid(wn⊺[h^n;un]+bn)
其损失函数计算如下：

其中CE是交叉熵，Θ表示所有可调参数，L是实例条数，N是ICD编码总数，c是实际是否命中该ICD编码，命中为1，否则为0。

针对写作风格的对抗学习

利用对抗学习来调和人工描述(DD)和ICD规范文本(CD)间的风格差异。对抗网络由两部分组成，一部分是判别网络，将嵌入向量作为输入，目标是区分DD和CD。另一部分编码网络（共享SLSTM），通过对DD和CD的编码器训练，尽量使判别器无法区分二者。这样调整后的编码器，就能更好地匹配CD与DD。

损失函数如下：

其中y是标签，tr是文本描述，f函数是SLSTM模型，Ws是SLSTM模型参数，g是判别网络，Wd是判别模型参数。

等渗约束

使用上面提到的预测概率来表示ICD编码的重要性，因此，通过优化损失函数，加入对p的约束。可实现对ICD编码的排序。

其中λ是权衡参数。

论文阅读_ICD编码_TLSTM相关推荐

多目标跟踪：CVPR2019论文阅读
多目标跟踪:CVPR2019论文阅读 Robust Multi-Modality Multi-Object Tracking 论文链接:https://arxiv.org/abs/1909.03850 ...
快速人体姿态估计：CVPR2019论文阅读
快速人体姿态估计:CVPR2019论文阅读 Fast Human Pose Estimation 论文链接: http://openaccess.thecvf.com/content_CVPR_201 ...
深度学习点云语义分割：CVPR2019论文阅读
深度学习点云语义分割:CVPR2019论文阅读 Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning 摘要本 ...
3D目标检测论文阅读摘要
3D目标检测论文阅读摘要 2D Object Detection 的研究已经非常成熟了,代表作品有RPN系列的FasterRCNN,One Shot系列的YOLOv1-YOLOv3,这里推荐一个2D ...
[论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测（经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
[论文阅读] (06) 万字详解什么是生成对抗网络GAN？经典论文及案例普及
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（6）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](6) GNN playground Some empirical GNN ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（4）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](4) The challenges of using graphs in ...
【论文阅读】A Gentle Introduction to Graph Neural Networks [图神经网络入门]（2）
[论文阅读]A Gentle Introduction to Graph Neural Networks [图神经网络入门](2) Graphs and where to find them 图以及在 ...
character-level OCR之Character Region Awareness for Text Detection(CRAFT) 论文阅读
Character Region Awareness for Text Detection 论文阅读论文地址(arXiv) ,pytorch版本代码地址最近在看一些OCR的问题,CRAFT是在场景 ...

论文阅读_ICD编码_TLSTM

介绍

读后感

泛读

方法

概览