论文背景

手指静脉识别系统的性能受到手指静脉训练样本不足的限制,导致特征学习不足和模型泛化能力弱:DCNN 需要大量的数据来学习更抽象的语义信息进行分类。对于指静脉识别,由于每个类别只包含少量样本,极易出现过拟合。原因之一是感知场大小固定在卷积层中的每个位置,缺乏处理几何变换的内在机制

建立一个更有效的DCNN,使验证误差随训练误差不断减小,并提高模型的泛化能力是一个困难的挑战。

静脉图像的成像原理在于充分利用静脉等生理组织中脱氧血红蛋白对各种波长近红外光吸收率的差异而形成图像。

当使用特定波长(700-900纳米)的近红外线(NIR)光照亮手部时,光穿过表皮进入皮下组织,在那里被散射。散射的近红外光被静脉血中的脱氧血红蛋白严重吸收,导致当由图像传感器成像时静脉图案的位置显示为暗阴影,而其他非静脉图案区域显示为高亮度区域。

在近红外成像中,生物组织具有高度的非均匀性和多重散射介质,不可避免地导致图像分辨率下降

论文主要内容

(1)提出了一种新的残差Gabor卷积网络。 针对手指静脉图像成像过程中存在的分辨率低、对比度低、信噪比低、视觉效果模糊等问题,设计了残差Gabor模块。 利用可学习Gabor卷积层增强模型的浅层特征,将其良好的方向和尺度选择性地引入网络,实现脉纹特征的有效增强。 通过引入可学习Gabor卷积,将人工特征的特性也引入到模型中,加速模型的收敛,从而解决了模型的过拟合问题,提高了模型的识别精度。

(2)提出了一种新的稠密语义分析模块。 在对浅层特征进行Gabor卷积层增强后,经过一系列卷积和池化操作,得到的深层特征包含了更丰富的语义信息。 DSAM利用全局平均池和通道关注机制,进一步分析和提取深层特征映射中的语义信息,然后将这些语义信息放入全连通层,用于辅助最终模型的分类。

(3)提出了一种简单有效的静脉生物特征数据论证策略FV-MIX。 通常手指静脉采集系统只针对每个对象采集少量图像,无法为深度学习模型提供足够的数据进行学习。 论文提出了一种新的手指静脉图像离线增强策略。 通过对单个个体预处理后的ROI图像按比例线性合并,最终可以得到 2^n-1 幅用于训练的指静脉ROI图像(是从单个个体采集的样本数)。

残差Gabor卷积网络

传统的 Gabor 滤波器具有高度的可操作性,可以赋予模型处理空间变换属性的能力。 但是,当仅使用固定 Gabor 滤波器时,不能完全利用这种能力。

Residual Gabor convolutional network architecture

首先将训练图像送入RGCL进行浅层特征提取和增强,然后将增强后的特征依次送入后续残差模块进行深层特征提取,并选择第三个瓶颈设计稠密语义分析模块。 然后从稠密语义分析模块输出一组富含增强语义信息的特征,连接到最终的全连接层,辅助手指静脉分类。

RGCL是一个残差模块,它使用一层卷积和一层Gabor方向滤波器(GOFs)。

GOF是一种可引导滤波器,由于浅层特征中存在大量的冗余特征,因此利用Gabor滤波器组对学习到的卷积滤波器进行处理,生成增强的静脉模式特征映射。增强的特征图有时会过度增强;因此,残差结构和通道注意机制被用来减轻这种过度增强 。

卷积 Gabor 方向滤波器 (GoFs)

Gabor滤波器是有方向和尺度的。 将方向信息编码在学习滤波器中,同时将尺度信息嵌入到不同的层中,从而将方向特性融入到DCNN中。 GOFS中利用Gabor滤波器捕捉到的方向和尺度信息,增强了相应的图案、轮廓和边缘特征。

GoFs具体描述在另一篇论文:http://t.csdn.cn/RR2gQ

论文在四个方向(0,Π/4,Π/2,3Π/4)上建立Gabor滤波器来产生调制GOF。对于尺度参数,将GOFS应用于不同尺度下的特征映射,使Gabor滤波器具有良好的尺度选择性。

残差 Gabor 卷积层

GoFs 增强 DCNN 中的浅层特征后,进一步增强了特征图中的模式、轮廓和边缘特征。因此,该模型在学习特定特征方面具有传统机器学习的优势,大大缓解了手指静脉图像样本不足的问题。但是,特征进一步固定化,削弱了DCNN自动选择学习到的特征的能力,模型的退化变得更加明显。

Residual Gabor convolutional layer

论文将GOFS与调制滤波器相结合,设计了RGCL模块来解决上述问题。

是作用于不同 GoF 分支的通道注意力。

CAT运算是将调制在不同方向的GOF连接后的特征映射。经1×1卷积(降维)后输出,最终得到RGCL的输出特征映射。论文在每个卷积运算或类卷积运算之后添加了 ReLU 和 BN(解决梯度消失和模型退化)。

稠密语义分析模块

假设浅层特征被增强,那么深层特征同样被激活得更强,包含更明显的语义信息。 同时,增强后的特征过于同质,更容易导致梯度消失,因此论文设计了DSAM来进一步提取和分析增强后的特征映射中包含的语义信息。

Densely semantic analysis module

分别是全连接层、通道关注(CA)和全局平均池(GAP)的操作。

FV-MIX

通常,手指静脉图像不适合裁剪或大角度旋转增强,数据无法充分转换。同时,无论对单个图像样本进行何种几何变换,其数据信息都保持不变。因此,我们设计了一种简单有效的策略 FVMix 来扩充手指静脉数据。 FV-Mix通过考虑单个分类中的多个样本进行混合,不同于一些通过GAN或风格迁移得到的样本图像,FV-Mix更符合同类样本简单线性融合得到的真实图像的像素分布。

FV-Mix data augmentation (

残差 Gabor 卷积网络和 FV-Mix 指数级数据增强策略用于手指静脉识别相关推荐

  1. CVPR2020:点云分析中三维图形卷积网络中可变形核的学习

    CVPR2020:点云分析中三维图形卷积网络中可变形核的学习 Convolution in the Cloud: Learning Deformable Kernels in 3D Graph Con ...

  2. 图卷积网络初探【GCN】

    最近GCN非常火,虽然个人暂时用不到GCN,但还是简单看了下理论,感觉不是特别复杂,但是似乎实现上较为有难度,尤其是高维的图表示,先转载一篇机器之心的文章学习一下,感觉GCN主要是处理复杂的关系网络, ...

  3. numpy 归一化_图卷积网络到底怎么做,这是一份极简的Numpy实现

    由于图结构非常复杂且信息量很大,因此对于图的机器学习是一项艰巨的任务.本文介绍了如何使用图卷积网络(GCN)对图进行深度学习,GCN 是一种可直接作用于图并利用其结构信息的强大神经网络.本文将介绍 G ...

  4. 【2020-COLING】Regularized Graph Convolutional Networks for Short Text Classification 用于短文本分类的正则化图卷积网络

    文章目录 摘要 1 引言 2 提出的方法 3 图构建 3.1 产品查询分类PQC 3.2 4 实验和结果 5 结论 论文题目:Regularized Graph Convolutional Netwo ...

  5. 论文翻译 SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络

    SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction 用于行人轨迹预测的稀疏图卷积网络 行人轨迹预测是自 ...

  6. 【AAAI】用于网约车需求预测的时空多图卷积网络

    #AAAI# 今天分享的是AAAI 2019的一篇论文<用于网约车需求预测的时空多图卷积网络> 原文链接:https://ojs.aaai.org//index.php/AAAI/arti ...

  7. 04.卷积神经网络 W2.深度卷积网络:实例探究(作业:Keras教程+ResNets残差网络)

    文章目录 作业1:Keras教程 1. 快乐的房子 2. 用Keras建模 3. 用你的图片测试 4. 一些有用的Keras函数 作业2:残差网络 Residual Networks 1. 深层神经网 ...

  8. 时空编解码器残差多图卷积网络预测OD客流需求

    paper title <Predicting origin-destination ride-sourcing demand with a spatio-temporal encoder-de ...

  9. CVPR2020论文解读:手绘草图卷积网络语义分割

    CVPR2020论文解读:手绘草图卷积网络语义分割 Sketch GCN: Semantic Sketch Segmentation with Graph Convolutional Networks ...

最新文章

  1. python-docx操作
  2. Visual Studio 2019 16.1 第二个预览版发布
  3. C++知识点23——使用C++标准库(顺序容器list的其他操作)
  4. 准确率99%!基于深度学习的二进制恶意样本检测——瀚思APT 沙箱恶意文件检测使用的是CNN,LSTM TODO...
  5. Nginx配置实例-反向代理实现浏览器请求Nginx跳转到服务器某页面
  6. Ie html button消失,input 按钮在IE下显现不一致的兼容问题
  7. GDCM:gdcm::JSON的测试程序
  8. Chisel 学习笔记(四)
  9. 收到群硕的offer了
  10. linux进阶之Tomcat服务篇
  11. MySQL集群---①浅谈MySQL集群原理
  12. 《应用时间序列分析:R软件陪同》——1.4 本书的内容
  13. java下载文件到本地
  14. android wps mac 下载地址,wps for mac下载
  15. 《深度学习:21 天实战 Caffe》资源已上传至码云、github
  16. 编辑器之神——vim编辑器
  17. 分布式秒杀电商-微服务架构图 上帝视角分析
  18. 诗琳通:中泰友谊使者,曾在汶川地震时曾为汶川灾区捐款1100万
  19. 通过“警察局罪犯档案库与通缉犯”来理解GetTOProperty()、SetTOProperty()、GetROProperty()
  20. Subspace Inversion

热门文章

  1. 什么是ActiveDocument(OLE文档对象)(转)
  2. WINDOWS7 引导启动菜单经光盘修复后变英文的问题
  3. 解决Scrapy报错: Unknown Command ‘crawl‘
  4. 关于黑马-Vue电商后台项目管理(2)
  5. 让梦想照进现实,js 基础收尾工作-运动框架基本写法
  6. Android ProgressBar 样式实现原理
  7. element popover 不显示/不隐藏问题解决方法
  8. 钣金机箱外壳的生产加工材料是什么
  9. 怎么样才能写好自媒体原创文章?掌握好这3要点就够了
  10. 老男孩python课程表_老男孩PythonDjango之路 -CRM开发表结构设计