Mufasa: Multimodal Fusion Architecture Search For Electronic Health Records【多模态融合架构论文笔记】

核心贡献：本文扩展了神经结构搜索(NAS)方法,并提出了跨模范融合架构SeArch(MUFASA)。我们实验证明,我们的MUFAsa方法优于已建立的统一模范解码器,并在与 comparable计算成本相同的基线上产生了优于现有的单模范化解码器的架构。此外,MUFASa产生了具有竞争力的变体和特征架构,并证明了其可用于其他EHR任务的推广。

摘要：

将深度学习应用于电子健康记录（EHR）的一个重要挑战是其多模态结构的复杂性。EHR通常包含具有稀疏和不规则纵向特征的结构化（代码）和非结构化（自由文本）数据，医生在做出决策时都会用到这些数据。在深度学习体系中，确定不同的情态表征应该如何融合在一起是一个困难的问题，通常通过手工建模和直觉来解决。在这项工作中，我们扩展了最先进的神经架构搜索（NAS）方法，并首次提出了多模态融合架构search（MUFASA），以同时搜索多模态融合策略和模态特定架构。我们从经验上证明，在公共EHR数据上，我们的MUFASA方法优于已建立的单峰NAS，计算成本相当。此外，MUFASA生产的架构优于Transformer和Evolved Transformer。与这些CCS诊断代码预测基线相比，我们发现的模型将前5名召回率从0.88提高到0.91，并证明了推广到其他EHR任务的能力。深入研究我们的顶层架构，我们提供了经验证据，证明MUFASA的改进源于其为每个数据形态定制建模和找到有效融合策略的能力。

背景意义

EHR数据的有效建模对于促进医疗保健具有巨大潜力，从改善诊断到建议治疗。其复杂的多模态特性要求人类专家手工设计非正统模型或使用一刀切的模型——这种方法不会随着医学数据的丰富而扩展。
作者认为这项工作是迈向人工智能民主化的积极一步，因为它将允许非专家为复杂的多模态数据集开发机器学习模型。作者希望将机器学习应用于医学数据集的贡献有助于推进所有患者的医疗保健。
作者仅使用MIMIC-III中完全无标识的数据，并遵守了数据协议。

数据简介

医院已经开始采用电子健康记录（EHR）系统（Adler Milstein等人，2015年）。EHR通常包含：（1）上下文特征，如患者年龄和性别；（2）纵向分类特征，如程序代码、药物代码和条件代码；（3）纵向连续特征，如血压、体温和心率；纵向自由文本临床笔记，通常很长，包含大量医学术语。
实验室测试和程序由医生自行决定，而血压和体温可以每小时监测一次。

方法

作者简要描述了进化NAS（Real et al 2019）和搜索空间的构建块。