论文背景

手指静脉识别系统的性能受到手指静脉训练样本不足的限制,导致特征学习不足和模型泛化能力弱:DCNN 需要大量的数据来学习更抽象的语义信息进行分类。对于指静脉识别,由于每个类别只包含少量样本,极易出现过拟合。原因之一是感知场大小固定在卷积层中的每个位置,缺乏处理几何变换的内在机制

建立一个更有效的DCNN,使验证误差随训练误差不断减小,并提高模型的泛化能力是一个困难的挑战。

静脉图像的成像原理在于充分利用静脉等生理组织中脱氧血红蛋白对各种波长近红外光吸收率的差异而形成图像。

当使用特定波长(700-900纳米)的近红外线(NIR)光照亮手部时,光穿过表皮进入皮下组织,在那里被散射。散射的近红外光被静脉血中的脱氧血红蛋白严重吸收,导致当由图像传感器成像时静脉图案的位置显示为暗阴影,而其他非静脉图案区域显示为高亮度区域。

在近红外成像中,生物组织具有高度的非均匀性和多重散射介质,不可避免地导致图像分辨率下降

论文主要内容

(1)提出了一种新的残差Gabor卷积网络。 针对手指静脉图像成像过程中存在的分辨率低、对比度低、信噪比低、视觉效果模糊等问题,设计了残差Gabor模块。 利用可学习Gabor卷积层增强模型的浅层特征,将其良好的方向和尺度选择性地引入网络,实现脉纹特征的有效增强。 通过引入可学习Gabor卷积,将人工特征的特性也引入到模型中,加速模型的收敛,从而解决了模型的过拟合问题,提高了模型的识别精度。

(2)提出了一种新的稠密语义分析模块。 在对浅层特征进行Gabor卷积层增强后,经过一系列卷积和池化操作,得到的深层特征包含了更丰富的语义信息。 DSAM利用全局平均池和通道关注机制,进一步分析和提取深层特征映射中的语义信息,然后将这些语义信息放入全连通层,用于辅助最终模型的分类。

(3)提出了一种简单有效的静脉生物特征数据论证策略FV-MIX。 通常手指静脉采集系统只针对每个对象采集少量图像,无法为深度学习模型提供足够的数据进行学习。 论文提出了一种新的手指静脉图像离线增强策略。 通过对单个个体预处理后的ROI图像按比例线性合并,最终可以得到 2^n-1 幅用于训练的指静脉ROI图像(是从单个个体采集的样本数)。

残差Gabor卷积网络

传统的 Gabor 滤波器具有高度的可操作性,可以赋予模型处理空间变换属性的能力。 但是,当仅使用固定 Gabor 滤波器时,不能完全利用这种能力。

Residual Gabor convolutional network architecture

首先将训练图像送入RGCL进行浅层特征提取和增强,然后将增强后的特征依次送入后续残差模块进行深层特征提取,并选择第三个瓶颈设计稠密语义分析模块。 然后从稠密语义分析模块输出一组富含增强语义信息的特征,连接到最终的全连接层,辅助手指静脉分类。

RGCL是一个残差模块,它使用一层卷积和一层Gabor方向滤波器(GOFs)。

GOF是一种可引导滤波器,由于浅层特征中存在大量的冗余特征,因此利用Gabor滤波器组对学习到的卷积滤波器进行处理,生成增强的静脉模式特征映射。增强的特征图有时会过度增强;因此,残差结构和通道注意机制被用来减轻这种过度增强 。

卷积 Gabor 方向滤波器 (GoFs)

Gabor滤波器是有方向和尺度的。 将方向信息编码在学习滤波器中,同时将尺度信息嵌入到不同的层中,从而将方向特性融入到DCNN中。 GOFS中利用Gabor滤波器捕捉到的方向和尺度信息,增强了相应的图案、轮廓和边缘特征。

GoFs具体描述在另一篇论文:http://t.csdn.cn/RR2gQ

论文在四个方向(0,Π/4,Π/2,3Π/4)上建立Gabor滤波器来产生调制GOF。对于尺度参数,将GOFS应用于不同尺度下的特征映射,使Gabor滤波器具有良好的尺度选择性。

残差 Gabor 卷积层

GoFs 增强 DCNN 中的浅层特征后,进一步增强了特征图中的模式、轮廓和边缘特征。因此,该模型在学习特定特征方面具有传统机器学习的优势,大大缓解了手指静脉图像样本不足的问题。但是,特征进一步固定化,削弱了DCNN自动选择学习到的特征的能力,模型的退化变得更加明显。

Residual Gabor convolutional layer

论文将GOFS与调制滤波器相结合,设计了RGCL模块来解决上述问题。

是作用于不同 GoF 分支的通道注意力。

CAT运算是将调制在不同方向的GOF连接后的特征映射。经1×1卷积(降维)后输出,最终得到RGCL的输出特征映射。论文在每个卷积运算或类卷积运算之后添加了 ReLU 和 BN(解决梯度消失和模型退化)。

稠密语义分析模块

假设浅层特征被增强,那么深层特征同样被激活得更强,包含更明显的语义信息。 同时,增强后的特征过于同质,更容易导致梯度消失,因此论文设计了DSAM来进一步提取和分析增强后的特征映射中包含的语义信息。

Densely semantic analysis module

分别是全连接层、通道关注(CA)和全局平均池(GAP)的操作。

FV-MIX

通常,手指静脉图像不适合裁剪或大角度旋转增强,数据无法充分转换。同时,无论对单个图像样本进行何种几何变换,其数据信息都保持不变。因此,我们设计了一种简单有效的策略 FVMix 来扩充手指静脉数据。 FV-Mix通过考虑单个分类中的多个样本进行混合,不同于一些通过GAN或风格迁移得到的样本图像,FV-Mix更符合同类样本简单线性融合得到的真实图像的像素分布。

FV-Mix data augmentation (

残差 Gabor 卷积网络和 FV-Mix 指数级数据增强策略用于手指静脉识别相关推荐

  1. CVPR2020:点云分析中三维图形卷积网络中可变形核的学习

    CVPR2020:点云分析中三维图形卷积网络中可变形核的学习 Convolution in the Cloud: Learning Deformable Kernels in 3D Graph Con ...

  2. 图卷积网络初探【GCN】

    最近GCN非常火,虽然个人暂时用不到GCN,但还是简单看了下理论,感觉不是特别复杂,但是似乎实现上较为有难度,尤其是高维的图表示,先转载一篇机器之心的文章学习一下,感觉GCN主要是处理复杂的关系网络, ...

  3. numpy 归一化_图卷积网络到底怎么做,这是一份极简的Numpy实现

    由于图结构非常复杂且信息量很大,因此对于图的机器学习是一项艰巨的任务.本文介绍了如何使用图卷积网络(GCN)对图进行深度学习,GCN 是一种可直接作用于图并利用其结构信息的强大神经网络.本文将介绍 G ...

  4. 【2020-COLING】Regularized Graph Convolutional Networks for Short Text Classification 用于短文本分类的正则化图卷积网络

    文章目录 摘要 1 引言 2 提出的方法 3 图构建 3.1 产品查询分类PQC 3.2 4 实验和结果 5 结论 论文题目:Regularized Graph Convolutional Netwo ...

  5. 论文翻译 SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络

    SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络 行人轨迹预测是自 ...

  6. 【AAAI】用于网约车需求预测的时空多图卷积网络

    #AAAI# 今天分享的是AAAI 2019的一篇论文<用于网约车需求预测的时空多图卷积网络> 原文链接:https://ojs.aaai.org//index.php/AAAI/arti ...

  7. 04.卷积神经网络 W2.深度卷积网络:实例探究(作业:Keras教程+ResNets残差网络)

    文章目录 作业1:Keras教程 1. 快乐的房子 2. 用Keras建模 3. 用你的图片测试 4. 一些有用的Keras函数 作业2:残差网络 Residual Networks 1. 深层神经网 ...

  8. 时空编解码器残差多图卷积网络预测OD客流需求

    paper title <Predicting origin-destination ride-sourcing demand with a spatio-temporal encoder-de ...

  9. CVPR2020论文解读:手绘草图卷积网络语义分割

    CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...

最新文章

  1. 看漫画学Python,屏幕前的彦祖要不要试试?
  2. IOS高级开发 runtime(一)
  3. python 稀疏数组搜索
  4. Qt Creator列表和其他数据模型
  5. Objective-C:OC内部可变对象和不可变对象的深(复制)拷贝问题思考:
  6. Oracle Schema Objects——Tables——TableType
  7. TensorFlow 与 PyTorch 之争
  8. CPU使用时间问题测试
  9. 通俗易懂!视觉slam第十一部分——线性系统和卡尔曼滤波
  10. Single-page app(SPA)
  11. SLAM学习笔记-------------(五)相机与图像
  12. 洛谷oj---P3205 [HNOI2010]合唱队
  13. 借助Bilibili Evolved批量下载b站视频
  14. 双ip的oracle集群该怎么连接,如何配置电信联通双线双IP接入
  15. 单片机控制步进电机-VB上位机生成S曲线
  16. 软件测试——linux操作(目录管理、文档编辑)
  17. 戴尔台式机修复计算机,dell电脑win10启动修复无法修复你的电脑的解决方法
  18. 中企海外周报 | 海尔俄罗斯洗衣机互联工厂开业;奥克斯建造泰国智能生产基地...
  19. iOS开发:加载、滑动翻阅大量图片解决方案
  20. IOS 一些小知识点整理

热门文章

  1. 服务器消息7995,修复sql2000数据库置疑时出现的错误.docx
  2. SLAM数学篇:李群与李代数
  3. 如何清除XP的开机用户登录密码
  4. Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provid
  5. .NET(C#) 使用Aspose.Pdf将HTML转成PDF
  6. 我的计算机桌面我做主教案,【山西】2015-2016学年中职计算机应用基础教案:我的桌面我做主.doc...
  7. 计算机在小学音乐研修心得,小学音乐教师工作心得体会
  8. 一不小心,愚人节就成了我们的节日
  9. Excel学习笔记2||求平均函数AVERAGE、AVERAGEA、AVERAGEIF、AVERAGEIFS和统计函数COUNT、COUNTA、COUNTBLANK、COUNTIF、COUNTIES
  10. Pink老师JS学习--京东登录页面案例