医疗实体链接(标准化)论文解读 (附代码) A Lightweight Neural Model for Biomedical Entity Linking
一、动机
论文:https://arxiv.org/abs/2012.08844
代码:https://github.com/tigerchen52/Biomedical-Entity-Linking
医疗实体链接 (Biomedical Entity Linking) 把文档中发现的疾病、药物、手术名词(mention)映射到知识库(knowledge base)中的标准术语词。
这项任务其实是非常有挑战的,这是因为文档中出现的医疗词语存在着多种变化,比如缩写、同义词、词形态变化、词序、错别字等。
其次,知识库中的标准术语集规模不算小,少的几万个术语,多的几十万个。更麻烦的是,这些术语长得还非常像,难以区分。
最后,医疗知识库不像传统的知识库WikiData和YAGO,术语(或实体)的信息只有一个实体名字,像实体描述、实体属性等待信息都是没有的,这给医疗实体链接带来了很大的难度。
如下例子,对于输入“decreases in hemoglobin”, 我们可以从MedDRA疾病词库中找到至少四个候选实体,你能找到正确的术语是哪一个吗?(答案是第三个)
decreases in hemoglobin1. increase in hematocrit
2. changes in hemoglobin
3. haemoglobin decreased
4. decreases in platelets
5. ......
最近BERT模型在NLP各个任务上都取得了惊人的成绩,也有人使用它在这个任务上进行了尝试,也取得SOTA的结果。
但是BERT模型上百万的参数在某种程度上也限制了它在资源受限(resourece-limted)场景下的使用。
因此,作者提出了一个想法,是否能使用一个简单的模型解决这个问题,而且在准确率上又差的不多呢?
这篇论文就是从这个问题出发,具体来说这项工作贡献如下:
- 作者提出了一种简单而有效神经网络模型,在三个医疗实体链接任务上,这个模型与BERT在统计上并无显著差异
- 这个模型比BERT小23倍,推理时间少6.4倍
- 除此之外,作者还探索如何在这个任务上使用额外特征,其中包括先验知识(Prior)、上下文(Context)、实体一致性(Coherence)
二、方法
模型的框架图如上所示,首先进行预处理,将mention和实体名称转化成统一的格式,然后再从知识库中找到top-k个候选实体,最后对这些实体进行排序输出得分最高的一个作为这个输入mention的标准术语。
上图是文章中的排序模型,作者首先使用预训练word embedding表示单词,然后为了解决out-of-vocabulary和错别字的问题,增加了character embedding。
Alignment Layer用来捕捉另一个文本中相似的部分,使用交互的信息进行表示每个文本,这样能够丰富单个文本的表示,很大程度提升模型的能力。
然后使用一个CNN层去提取关键特征,最后将两个文本的表示拼接在一起送入一个两层的全连接网络,这样就能计算出一个base score了。
除此之外,这个模型还可以加入先验信息、上下文信息、一致性信息。
三、实验
从上表中可以看出,作者的简单的base模型与BERT非常接近,在NCBI数据集上还超过了BERT模型。
在base模型上加入额外特征还能够得到一定收益。
下表是作者模型大小和推理时间,在这两个维度上,作者的base模型都是有显著的优势的。
医疗实体链接(标准化)论文解读 (附代码) A Lightweight Neural Model for Biomedical Entity Linking相关推荐
- YOLOv7来临:论文解读附代码解析
前言: 是一份关于YOLOv7的论文解读,首发于[GiantPandaCV]公众号,写的不是很好,望大佬们包涵! 2022年7月,YOLOv7来临, 论文链接:https://arxiv.org/ab ...
- 单目标跟踪算法:Siamese RPN论文解读和代码解析
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者:周威 | 来源:知乎 https://zhuanlan.zhihu.com/p/16198364 ...
- CVPR 2020 Oral 文章汇总,包括论文解读与代码实现
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要10分钟 Follow小博主,每天更新前沿干货 [导读]本文为大家整理了10篇CVPR2020上被评为Oral的论文解读和代码汇总. 1.Ra ...
- 【Cylinder3D论文解读及代码略解】
Cylinder3D论文解读及代码略解 论文解读 Abstract Introduction Related work 室内点云分割 室外点云分割 3D体素划分 Methodology(本文方法) C ...
- FPN论文解读 和 代码详解
FPN论文解读 和 代码详解 论文地址:[Feature Pyramid Networks for Object Detection](1612.03144v2.pdf (arxiv.org)) 代码 ...
- 论文解读《Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment》
论文解读<Global Structure and Local Semantics-Preserved Embeddings for Entity Alignment> 论文题目:Glob ...
- ORB_SLAM2 原理、论文解读、代码流程
ORB_SLAM2 原理+论文解读+代码流程 算法原理 Tracking LocalMapping LoopClosing 代码流程 文件的调用关系 重要变量的数据结构 Tracking流程 Loca ...
- Longformer论文解读和代码解析
前言 这篇博文记录了longformer论文的主要思想.代码实现和结果复现方面的一些工作,相关链接如下: 原longformer论文地址 github上原作者公开的代码 huggingface上原作者 ...
- AlexNet论文解读与代码实现
文章目录 1. 论文解读 1.1 泛读 1.1.1 标题与作者 1.1.2 摘要 1.1.3 结论(讨论) 1.1.4 重要图 1.1.5 重要表 1.2 精读 1.2.1 文章精解 1.2.1.1 ...
最新文章
- android xUtils的使用
- 时隔一个月,社区团购平台“邻邻壹”再获千万美金 Pre-A 轮融资
- python关于列表增加元素的几种操作
- 如果和对方的意见或者事件冲突了怎么办?让步
- 20211020 段院士全驱系统
- Oracle访问数据的存取方法
- 拉格朗日差值 - 杜教板子
- 使用python做最简单的爬虫
- 打工好,还是创业好?
- printf是如何实现变长参数的
- C# 网络爬虫 抓取“北京标准时间“ 网页请求
- 永恒之蓝漏洞自查-MS17010漏洞自查与修复
- 2021-10-09《星科快报》第一期 何为元宇宙
- java实现支付宝扫码付款
- 计算机图像处理2000字论文,图像处理计算机技术论文
- Java 一元三次方程求解
- Pinta 1.6发布!在 Ubuntu 和 Linux Mint 上安装
- elasticsearch的基础使用(二)
- JavaScript 运算符与逻辑分支
- android转ios 王者荣耀,王者荣耀怎么转移号