基于知识蒸馏的心律失常分类模型
基于知识蒸馏的心律失常分类模型
期刊:电子设计工程
时间:2022
研究院:中国科学院微电子研究所,硕士
关键词:心律失常;卷积神经网络;注意力;知识蒸馏
ECG 心律失常分类
ECG 心律失常分类模型一般分为 3 个步骤:ECG 信号提取与预处理、ECG 信号特征提取、ECG 心律失常分类[1]。
样本数量的不平衡会导致训练后的神经网络对多数类样本过拟合 ,对少数类样本的分类灵敏度较低。因此需要对 ECG 输入数据进行数据增强。该文使用合成少数类过采样算法(Synthetic Minority Over- sampling Technique,SMOTE)[11] 对一维 ECG 信号进行数据增强。SMOTE 算法是基于随机过采样算法的一种改进方案 ,对数据中的少数类样本进行分析并模拟出新样本 ,之后将新样本添加到数据集中。最后将每个一维 ECG 心拍转换为适合于输入二维 CNN 模型的二维图像数据。
由于卷积运算通过将通道和空间信息融合在一起来提取特征 ,该文在每个基本模块中的深度卷积之后加入了结合通道注意力和空间注意力的 CBAM 模块[14],通过CBAM 模块来强调通道和空间部分的有意义的特征。CBAM 模块将注意力过程分成两个独立的部分 ,可以减少所需的参数量和计算量。CBAM 模块示意图如图 2 所示
通道注意力模块主要是探索不同通道间的 feature map,示意图如图3 所示。卷积后的 feature map 经过 MaxPool 池化和 AvgPool 池化聚合特征图的空间信息 ,生成最大池化特征F c max 和平均池化 F c avg 特征。这两个特征经过多层感知器 MLP 后进行加和和 sigmoid 激活后得到最终的通道注意力特征 Mc 。
空间注意力模块的示意图如图 4 所示。通道注意力 Mc 和输入的 feature map 经 elementwise 相乘后生成空间注意力模块的输入特征图。输入特征图沿通道作 MaxPool 池化和 AvgPool 池化后聚合 feature map 中的通道信息,再利用一个卷积层对其进行卷积,经sigmoid 激活后得到空间注意力特征 Ms ,最后将空间注意力特征 Ms 与原输入的 feature map 相乘得到新的 feature map。
网络基础模块示意图如图 5 所示。在每个模块内使用 2 次 1×1 的 PW 卷积和 1 次 3×3 的 DW 卷积, DW 卷积层后接 CBAM 模块。
基于知识蒸馏的心律失常分类模型相关推荐
- arma模型谱估计matlab_基于机器学习的心律失常分类(四)——心电信号特征提取[MATLAB]...
目前比较常用的特征提取是提取心电信号的各波形间期长度.波峰高度等,本文是使用ARMA模型对心电信号进行处理,使用其系数来作为特征. 一.心拍划分 大多伴有异常波形的心律失常信号,通常都会具体表现在单个 ...
- 文本分类模型的训练、调优、蒸馏
目前已经完成的事情 目前有12个模型. 其中BERT的七个变种模型,因为使用的是BERT-base-chinese的预训练模型和词表,所以不要自己做embedding,换上数据集和标签就可以跑 Ber ...
- KD-VLP:知识蒸馏和预训练还能这么结合?上科大IntelMSRA提出基于知识蒸馏的端到端多模态预训练模型...
关注公众号,发现CV技术之美 本文分享论文『KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowl ...
- K-BERT | 基于知识图谱的语言表示模型
今天给大家介绍发表在AAAI 2020上的文章"K-BERT: Enabling Language Representation with Knowledge Graph",该工作 ...
- 实现三元组表示的两个稀疏矩阵的加法_K-BERT | 基于知识图谱的语言表示模型
1.研究背景 BERT曾被应用在多项NLP任务中,并且取得了很好的结果.它通过在大规模开放语料库上进行预训练以获得通用的语言表示,然后在特定的下游任务中进行微调,吸收特定领域的知识.但这些模型在不同的 ...
- CVPR 2020 | 基于知识蒸馏的分块监督NAS
本文转载自机器之心. 以机器自动设计网络结构为目标的神经网络搜索(NAS,Neural Architecture Search)有望为机器学习带来一场新的革命. 但是,现有的 NAS 解决方案的有效性 ...
- 语音助手——助手中用到的那些分类模型
这一章,我们来一起看一下语音助手中用到的那些分类模型.首先,什么地方需要用到分类模型呢?有以下几种情况: 场景分类 任务.闲聊.问答分类 BOT内部分类 这一类分类主要起的作用为: 辅助DM进行BOT ...
- ECG分析:基于深度学习的ECG心律失常分类入门(3)
ECG分析:基于深度学习的ECG心律失常分类入门(3) 数据库的Python读取 本次读取数据,用的是一款专门读取MITAB数据的工具--WFDB-python,WFDB包下载 ,全称是 Python ...
- ECG分析:基于深度学习的ECG心律失常分类入门(4)
ECG分析:基于深度学习的ECG心律失常分类入门(4) 在搭建模型之前,讲一下本次任务需要区分的类别,MITAB根据心拍类型划分了14个小类: 也可以用wfdb查看: wfdb.show_ann_la ...
最新文章
- Python之初识函数(Day11)
- python pip 报错 Command “python setup.py egg_info“ failed with error code 1 解决方法
- python类对象赋值_Python对象赋值、浅拷贝、深拷贝
- 查询varchar实际大小_微服务和VUE(11): mybatis 动态查询
- LSGO软件技术团队2015~2016学年第二周(0907~0912)总结
- 梅露可物语虚拟服务器,【图片】【萌新】主界面的使用方法(零基础版)【梅露可物语日服吧】_百度贴吧...
- 18 线程池,线程安全队列,线程创建
- 视觉平衡与物理平衡_简单聊聊摄影“视觉平衡”那些事
- python 截图 minicap_【Python】使用minicap对安卓手机快速截屏
- 经典多级时间轮定时器(C语言版)
- tds for mysql_tds数据库是什么-和tds数据库相关的问题-阿里云开发者社区
- 网站流量日志数据分析系统
- 近年来Person Re-identification论文汇总
- DirectX和OPenGL 与 UE4、U3D、Webgl(ThreeJS)的关系
- MySQL复制 slave_exec_mode 参数IDEMPOTENT 说明
- ExtractFileName、ExtractFileExt、ExtractFileDir、ExtractFilePath
- Linux单网卡双IP
- 微信小程序App Page 模块化
- ps中用钢笔进行抠图
- 区块链和区块链联盟_您可能对区块链有误解。 让我来帮助您修复它们。