以下为本人在2022年中国生物特征识别会议报告的文字版,对应的视频包含更清晰流畅的动画演示。

一提到指纹,绝大部分人的反应是指纹识别。因为指纹识别的应用已经非常广泛了,而且除了身份识别,指纹目前基本上没有其他实际应用。

图 1  指纹识别的多方面应用

那什么是指纹交互?这个概念可能大家不熟悉,因为这个概念是我提的,还没有大范围讲过。指纹交互是指,利用各种形态的指纹传感器,通过算法自动估计手指的角度、皮肤变形、具体部位等属性,进而应用于各种计算平台上的三维物体操控、相机视角控制、游戏、文字输入,以及实际物体(如机械臂、机器人、无人机)的操控。

图 2  指纹交互

我的报告是要将指纹识别与指纹交互放在一起讲,因为这两者十分相关。指纹识别与交互技术要解决的问题,可以概括为一句话:已知指纹图像,推测是谁的哪根手指的哪个部位以什么角度和力度触摸传感器。这一串问题很难,主要的挑战有:信息少而解空间大,皮肤状况差,按压方式不理想,传感器不理想,计算能力受限。

下面将依次介绍我们在手指姿态约束和角度控制、指纹变形估计和控制、指纹比对和打字六方面的工作。

图 3  报告内容概览

1. 姿态约束

指纹识别系统主要包括三个模块:图像采集、特征提取和匹配。我们研究指纹姿态估计的初衷,是要通过姿态对指纹特征提取和指纹匹配任务施加约束,以提高总体性能。

图 4  指纹识别的基本流程

指纹的二维姿态定义了指纹的物体坐标系。它的中心是由中心奇异点定义的,方向是手指的纵向。

图 5  手指照片和指纹图像中标注了指纹二维姿态和指纹的中心和三角奇异点。

指纹特征提取面临的难题是背景噪声强,脊线质量差。在这种情况下,特征提取很容易出错,但如果能够有指纹图像对应的姿态,就能够利用指纹先验知识,提高特征提取算法的抗噪声性能。例如在提取指纹方向场特征时,由于姿态的帮助,可以避免许多方向场估计错误。

图 6  指纹方向场估计。左图未利用指纹姿态,右图利用了指纹姿态。

指纹匹配面临的难题是,两个指纹之间细节点的对应关系很不确定。而且不同指纹的局部可能很相似,这会导致许多错误的对应点。结果是错误的指纹排名比正确的指纹还靠前。在引入指纹姿态后,指纹姿态对匹配的价值是,一方面可以提高匹配速度,另一方面可以降低不同指纹之间的匹配分数。从而提高了1:N大库指纹匹配的准确性。

图 7  姿态约束可减少错误匹配点,从而提高正确库指纹的排名。

长期以来,指纹识别领域忽视(或者说回避)了指纹姿态估计问题。原因是大家普通认为指纹的姿态很难测量准确,而测得不准确就没法用,用了不准确的姿态对于识别性能有害。近10年,我们围绕指纹姿态估计问题的挑战,提出了一系列方法,逐渐提高了姿态估计精度,并扩大了算法的适用范围。详细介绍见文后的参考文献。

2. 角度控制

在对手指二维姿态估计问题做了多年研究后,进一步我们想到,手指是三维物体,如果能估计出手指的三维角度,那就可以用在人机交互上了。

图 8  手指的三维角度:偏航角(Yaw),滚动角(Roll),俯仰角(Pitch)

大家都知道触摸屏是手机、平板、手表的主要交互设备。它只能获取手指的接触点,需靠单指和多指手势识别,来提高输入维度。无论使用单指、多指,在触摸屏上做三维交互都是很困难的。特别是智能手表,它的触摸屏很小,多指手势难以施展。

图 9  目前的触摸屏交互

如果能测量手指角度,手机就能支持许多创新的交互方式,例如选择圆盘形的菜单,操控三维物体等。人机交互领域的研究者提出了多种方法。基于手机内置触控传感器的技术,测量误差比较大,而且只能测量2个角度。而其他利用外部设备的方案,在现实中很难推广。近年来许多手机内置了屏下指纹传感器,而且有的传感器面积还挺大。甚至把指纹传感器做到整个屏幕那么大,在技术上也是可以做到的。这就为测量手指角度提供了新的可能。由于指纹传感器的分辨率远高于触摸传感器(至少80倍),有望得到准确的三维角度。

图 10  屏下指纹传感器

从指纹图像估计手指三维角度的想法,应该是可行的。首先,手指轮廓与角度相关。其次,手指不同部位的脊线方向各有特征。但如何设计函数从输入的指纹图像算出三维角度,并不容易。

我们选择了基于深度学习的路线,设计了一种多任务深度神经网络,利用手指姿态与其他指纹分析任务之间的相关性,提高模型精度和可解释性。对于深度网络的训练,训练数据特别重要。我们采用经过精确时空同步的指纹仪和光学追踪设备同步获取指纹图像和手指角度真值。

图 11  指纹仪和光学追踪设备采集成对数据

下图展示了从指纹图像估计三维角度的网络结构,除了监督三维角度之外,还对于手指轮廓、指纹方向场进行了监督,以提高网络的性能。在该数据库上对几种代表性方法进行了评测。该方法可以显著降低角度误差。相比基于触摸屏的最优方法,平均误差从18度降到11度。这项工作受到了人机交互评审专家的好评,文章发表在ACM的IMWUT期刊(普适计算、可穿戴计算领域的顶刊)。

图 12  从指纹图像估计手指三维角度的网络结构

下面是手指姿态控制的应用演示。首先演示的是单指的姿态估计,左侧是手指在指纹仪上转动,中间的指纹图像是算法的输入,输出是3个角度,以三维手指模型的形式显示在右侧。对比左侧和右侧,可以看到估计角度和真实角度是一致的。

图 13  单指的姿态估计

利用这个技术就可以用手指角度来控制三维模型了,比如控制飞机的滚动角和俯仰角。

图 14  单指控制飞机运动

这项技术还支持两个手指的姿态估计。这就提高了人机交互的自由度。图中显示器右侧是指纹图像,左侧显示了两个手指的三维姿态。

图 15  双指姿态估计

例如,在坦克游戏中,利用左手食指控制坦克移动,右手食指控制火炮的角度。

图 16  双指控制坦克

我们还将技术做了进一步发展。现在可以用手机的触控传感器测量出手指的2个角度。实时性很高,应用推广也会更加容易。游戏公司对这项技术表现出浓厚的兴趣。

图 17  基于触控传感器的手指角度估计

3. 变形校正

变形是可以概况我们这些年的指纹识别研究的第二个关键词。绝大部分指纹识别系统采用的是接触式采集技术。由于手指表面是弯曲、柔软的,需要用力按压手指,皮肤才能和传感器的采集面充分接触,得到面积比较大的指纹。因此指纹采集必然会发生皮肤变形。反过来想,如果手指是个硬骨头,完全不变性,那也就无法采集指纹了。给指纹识别带来困难的不是指纹变形本身,而是变形的不一致,它会增大相同指纹不同图像之间的差异。

在指纹采集中有一个标准的按压方法:手指放平,垂直按压,适度用力,按压后不要搓动或旋转。如果每次按指纹都这样按,就可以保持指纹变形是一致的。指纹识别系统应对这种一致的变形完全没有问题。当不按照标准的采集方法时,变形就会有很大的变化。比如手指按上去后,往上搓手指。手指中间区域由于接触很紧,没有移动,而外侧的皮肤在向上移动。

图 18  指纹变形

把这个视频的第一帧和最后一帧取出来。第一帧称为正常指纹,最后一帧是扭曲严重的指纹。图中两对红色的点是对应的特征点,可以明显看出它们之间的距离发生了很大的变化,说明两帧之间的变形非常大。

图 19  两对红色的点是对应的特征点,可以明显看出它们之间的距离发生了很大的变化。

如果指纹扭曲程度很大,对于识别是非常困难的。例如图中一个手指的三幅图像,执行指纹匹配算法发现,左边两幅的匹配分数达329分,被认为是同一个指纹;但右边两幅的匹配分数只有12分,被认为是不同的指纹。面积差不多,造成匹配分数差距这么大,原因是第三幅指纹图像的变形和前两幅很不一致,存在很大的扭曲。

图 20  由于变形的影响,同一个手指的3幅图像匹配分数差异巨大

皮肤变形是指纹识别的挑战之一。传统的处理方法是在细节点匹配时进行容忍,在打分时进行惩罚。我们的思路是深入理解指纹变形,准确估计稠密变形场。上文中已经提到,指纹识别系统包含图像采集、特征提取和匹配三个模块。可以选择在匹配或者特征提取环节对变形进行处理。下面首先介绍匹配环节对变形处理的方法。

传统指纹配准方法先找到两幅指纹之间的匹配细节点,然后拟合指纹之间的变形场。如图所示,当变形比较严重或匹配点有错时,拟合的变形场是不精确的,无法对准脊线。

图 21  从左至右依次为:参考指纹、输入指纹、基于细节点的刚体变换、基于细节点的TPS变换

我们提出了稠密配准的思路,目标是把两个指纹重叠区的脊线全部配准。近几年,围绕这个新思路,我们提出了多种方法。这些方法的总体流程是类似的(如下图所示),首先通过细节点匹配将指纹粗略配准,之后利用多种稠密配准方法,实现脊线层次的精密配准。具体方法详见文后的参考文献。

图 22  稠密配准的流程

稠密配准能够减小相同指纹不同图像之间的变形,有助于提高它们的匹配分数。在平面指纹和现场指纹库上的实验表明稠密配准的确能改善识别精度。

稠密配准还可以将各种角度的平面指纹拼接为一幅完整指纹。相比传统的滚动指纹,完整指纹的面积更大,细节点更多,尤其是滚动指纹通常缺少的指尖区域,完整指纹也可以覆盖到。如果警方采集这样的完整指纹,对于提高犯罪现场指纹的识别率是很有帮助的。

图 23  稠密配准技术将一系列平面指纹拼接为完整指纹

手机的指纹传感器面积很小,用户注册阶段要采集许多次指纹作为模板。稠密配准技术可以将许多小指纹图像拼接为面积更大的指纹。我们分别用小指纹集合和拼接的指纹作为注册指纹,进行了识别实验,发现拼接指纹的识别率更高。

图 24  稠密配准技术将一系列小指纹图像拼接为更大面积的指纹

除了匹配环节,还可以在特征提取环节对变形进行处理。相比匹配环节,在特征提取环节处理变形的优点是,不影响大库识别的效率。但是在没有参考指纹的情况下,仅仅从一幅指纹图像估计它的变形场,是很困难的。我们将这个技术命名为扭曲自校正,对于输入的一幅指纹图像,该技术将其扭曲去掉,得到一幅几乎没有扭曲的正常指纹。对于这样的指纹,现有的指纹识别技术进行识别是毫无困难的。针对扭曲自校正问题,近年来我们提出了多种方法。下面介绍一个代表性的方法——基于最近邻搜索的扭曲场估计。

图 25  扭曲自校正示意图

该方法的总体方案是,构造一个参考数据库,这个数据库里面记录了各种类型的扭曲场,以及对应的方向场和周期图;新来的图像,先提取出它的方向场和周期图后,与数据库中的数据进行比较,如果有匹配的参考扭曲指纹,就认为这个新的图像也有类似的变形,然后根据对应的变形场对它做校正。

图 26  基于最近邻搜索的皮肤扭曲自校正流程图

这里很关键的一步就是,参考的扭曲指纹库是怎么构造。解决办法是,采集一批各种扭曲的指纹视频,对每一段视频,通过细节点追踪的方法估计出首尾帧之间的扭曲场。

图 27  各种扭曲指纹及估计的扭曲场真值

扭曲自校正的最终目的是提高识别率。FVC2004 DB1包含了许多刻意扭曲的指纹,我们在该数据库上进行了3个匹配实验。3个实验使用的图像分别是:原始图像、经该算法校正的图像、经Senior-Bolle算法(IBM沃森实验室)校正的图像。所有实验均使用同样的识别算法(VeriFinger)。该算法校正的图像取得了最高的识别率。

图 28  FVC2004 DB1包含许多刻意扭曲的指纹,扭曲自校正技术提升了该库的识别性能。

下面是来自FVC2004 DB1的一个例子。这里将估计的变形网格覆盖在原始的查询指纹上。蓝色数字为匹配分数。可以看到,该方法极大地降低了查询指纹和库指纹之间的变形,从而把匹配分数从18提高到了138。

图 29  引入扭曲校正后,匹配分数从18提高到138。

4. 变形控制

众所周知,手机和平板电脑的触控传感器仅仅能测量手指与传感器接触点的二维坐标。而3D物体控制等复杂的人机交互任务需要进行六自由度控制(包括三自由度平移和三自由度旋转)。

为了增加交互自由度,研究者试图测量手指作用于设备表面的剪切力和扭力。由于触控传感器的信息量不足以估计剪切力和扭力,研究者不得不安装额外的传感器来测量,如压力传感器、导电胶带、摇杆、霍尔传感器等。在应用于移动设备时,需要对设备进行改造,不方便使用且增加了制造成本。

图 30  估计剪切力和扭力的传感器

许多手机已经内置了指纹传感器,它的传感器分辨率远高于触控传感器,可以采集到丰富的手指信息。用手指在指纹仪上沿着不同方向施加剪切力和扭力,来观察指纹图像的变化。可以看到,手指中间区域是和传感器紧密接触的,几乎静止,而手指外围区域的移动和变形反映了剪切力和扭力的方向和大小。因此,并不需要测量实际的力,而是可以测量指纹的变形,直接映射为控制信号。

图 31  用手指在指纹仪上沿着不同方向施加剪切力和扭力时,指纹图像的变化

上面是从指纹识别的视角研究指纹变形估计,估计出来后再把变形去掉。对于指纹识别,变形是不好的东西,是个废品。但是切换到人机交互的视角,用变形来做控制,可以说是变废为宝了。

我们提出的指纹变形控制系统流程如图所示。用户首先注册一个手指的两个不同区域(例如指肚和指尖区域),分别用来控制三自由度旋转和三自由度平移。开始操控时,指纹传感器获取连续的指纹序列。对手指按下的第一帧图像提取特征点并分别与注册指纹区域进行匹配,计算匹配分数,根据匹配分数确定手指接触区域,锁定自由度为旋转或者平移。之后的每一帧分别提取特征点,并与相邻帧进行匹配,确定横向、纵向变形,根据变换矩阵确定旋转变形。最后,将变形映射为三自由度的控制信号。

图 32  指纹变形控制流程图

根据相邻帧指纹图像之间的匹配点对是否发生位移,将匹配点分为移动点和静止点。然后根据移动点所占比例,将手指动作分为三类,第一类包括搓动和扭动,第二类为滑动,第三类为静止。如图所示,红色箭头表示移动点,箭头方向表示移动方向。蓝色点为静止点。第一行的三幅图分别代表手指向上搓动、向右搓动和顺时针扭动。这三幅图中,指纹中央的点为静止点,外围为移动点。第二行第一幅图中,所有点均为移动点,说明手指在传感器表面滑动。第二行第二张图中,所有点均为静止点,说明手指不动。在物体操控实验中,所有操控均使用搓动和扭动来完成。

图 33  手指动作与匹配点关系

我们使用三维物体操控任务来评测所提出的方法。该任务需要用户控制暗红色的茶壶,通过一系列平移和旋转操作,将其移动对齐到浅绿色的半透明茶壶上,对齐后蓝色背景会变成白色以提示用户。用户将控制的物体保持在目标位置0.5秒后提示任务完成。我们随机生成许多不同初始状态的茶壶,测试用户的完成时间,最后计算平均值。

图 34  三维物体操控任务。左图为初始状态,右图为完成状态。

我们通过操控实验对比了四种输入设备的性能,包括指纹变形控制、TrackPoint(也叫ThinkPad小红点)、触摸屏以及三维鼠标SpaceMouse。为了实验方便,我们采用了大面积的指纹仪,实际上比手指略大的指纹传感器就够用。TrackPoint只支持二自由度控制,所以只用于二自由度实验。触摸屏和三维鼠标均支持六自由度控制。

二自由度物体操控实验对比了指纹变形控制和TrackPoint,二者均使用速度映射。实验发现二者的完成速度相当。指纹变形控制能达到这样的性能,是很不容易的,因为TrackPoint是IBM和联想优化了30年的技术,已经相当成熟了。从视频中可以看到使用指纹变形控制时,实际只用到很小的传感器面积。这意味着,可以用TrackPoint大小的指纹传感器来实现TrackPoint的功能。考虑到指纹传感器支持更高自由度的控制,而且支持身份识别,它的潜在价值是远大于TrackPoint的。我们和联想做过初步的交流,他们对用指纹传感器代替TrackPoint的想法非常感兴趣。

图 35  二自由度物体操控实验

下面分别对比指纹变形控制和传统手势触控以及三维鼠标在六自由度物体控制任务中的性能。首先,使用触控屏时,由于没有锁定自由度,双指捏和旋转操作的时候,物体会附带额外的xy轴平移,需要通过后续调整来修正。另外,双指旋转时,手掌会带动手臂一起旋转,旋转角度受限且容易造成疲劳。从视频中也可以看出,用户需要花费大量时间来进行多次旋转操作。

图 36-1  六自由度物体操控实验:指纹变形对比触控手势

三维鼠标SpaceMouse是三维建模方面最流行的鼠标,脱胎于世界第一个太空遥控机器人的控制器。它的6自由度控制均不锁定自由度,所以xy轴平移和旋转操作往往混合在一起,也需要后需调整来修正。而指纹变形控制时,使用不同位置控制平移和旋转,不会发生混淆。而手指搓动和扭动产生的变形差异大,也不容易发生混淆。

图 36-2  六自由度物体操控实验:指纹变形对比三维鼠标SpaceMouse

我们的实验显示,使用指纹变形进行6自由度控制任务,完成时间小于另外两种方法,与传统手势触控相比,完成时间减少约20%。此外,由于只需要很小的接触面积,指纹变形控制可以使用手机和笔记本电脑本身带有的指纹传感器进行操作。而SpaceMouse是需要单独购买的外设,且价格不菲。

5. 指纹比对

指纹比对(或者说指纹匹配)是传统问题。经过约50年的发展,传统的基于细节点的指纹比对技术已经被高度优化。我们主要关注细节点比对方法不适用、容易失败的场景。例如,小面积指纹传感器,现场指纹、老年人指纹等低质量图像,指节纹等缺细节点特征的图像。研究这些类型的指纹比对问题,意义不仅仅是降低现有系统的错误率,更在于拓展指纹识别的应用场景。

图 37  传统基于细节点的指纹比对技术容易失败的场景

现场指纹和库指纹的比对很有挑战。许多犯罪现场的指纹,可以利用的细节点非常稀少。我们不得不跳出传统的指纹细节点提取和比对框架。算法的流程如图所示。对输入的一对指纹图像,分别在前景区域内均匀采样,获得稠密采样点,保证现场指纹得到充分的表达。之后通过局部对齐与匹配,得到一组可能匹配的采样点。最后通过全局图像块匹配模块,可以筛选出可靠的采样点对应关系。

图 38  基于稠密采样点的现场指纹比对

整个比对算法的核心是局部图像块的对齐与匹配。该模块的流程如图所示。输入一对局部图像,图像块对齐网络估计它们之间的平移旋转参数。之后从对齐的图像块提取深度描述子,根据描述子相似度判断是否匹配。

图 39  局部图像块对齐与匹配的流程图

下面是4个现场指纹的例子,由于图像质量特别差,传统方法几乎得不到正确的细节点,会完全失败。而该方法依然可以找到许多正确的对应点。在NIST-27现场指纹库上的识别实验显示,该方法相较于其他方法的Rank-1识别率有明显提升(从61.6%提高至70.1%)。

图 40  在指纹脊线难以辨别时,该算法依然可以找到许多正确的对应点。

6. 指纹打字

最后一个话题是关于文字输入。那么指纹打字和比对有什么关系呢?我们指纹打字的想法部分受到了现场指纹识别的启发。对于犯罪现场的指纹或者掌纹,警方不仅仅要识别是谁的指掌纹,还要明确到底是哪只手的哪个部位留下的。这对于还原犯罪过程、法庭诉讼是必要的。

我们把手指不同部位定义为不同的字母、符号、功能键,在注册阶段把这些部位的指纹都记录下来。在拇指上佩戴微型指纹传感器,当拇指上的传感器触摸某个手指部位时,指纹识别算法识别出是哪个部位,再映射为对应的字母或功能键。这就把手变成了键盘。我们把这项技术命名为PrinType,也就是指纹打字,主要面向VR/AR等不适合用键盘的场景以及视障人群。这篇文章发表在ACM的IMWUT期刊。

图 41  PrinType指纹打字示意图

把手变成键盘,这个想法之前就有。想法出现的原因主要是,新型电子设备和计算平台如VR/AR、智能手表等有输入文本的需求,但传统物理键盘已经不能满足。VR/AR输入文本时看不到键盘,而智能手表的屏幕面积小、按键多,不容易快速准确的打字。手作为键盘的相关工作有多种思路:比如KITTY利用数字手套上多个电子触摸点的触摸事件,以及触摸事件的组合完成打字;TapStrap利用IMU传感器探测敲击事件来打字;PinchType利用外部相机识别拇指捏合的手指,实现悬空打字;FingerText靠触摸装在指甲上的电容传感器,实现单手打字。这些方法在便携性、字符完备性、舒适度、效率等方面存在不足。

图 42  手作为键盘的相关工作

基于指纹的打字技术克服了上述缺点。它的传感器很小,且只需要在一根拇指上安装;它可以利用两只手上所有拇指能触摸到的有纹理的部位。但它的挑战是如何高效识别按键,如何降低识别错误,如何设计键盘方便用户记忆。

键盘需要大量的按键,要使用手指上许多部位才够用。但是除了指尖,指纹识别系统很少用到其他部位的指纹。这些部位能不能识别,识别性能如何,之前没有人系统研究过。我们找了一些志愿者进行了可行性研究,每个人手部划分为65个候选区域,最终将每个位置的识别准确率可视化。事实上不同用户之间,识别率高的位置是相似的,可以看到指尖、指肚这些区域颜色更深,它们的Rank-1识别率通常在95%以上。这既验证了指纹打字的可行性,也给键盘的布局设计提供了重要参考。

图 43  不同部位的指纹识别性能

基于上面的定量实验,我们设计了三种键盘,第一种利用的区域比较多,是全键盘。可以看到26个字母按照字母顺序对称排列在手指的不同区域。除了这个主键盘,还可以通过两个shift键实现键盘的切换:大写键盘和数字或符号键盘。大写字母和小写字母的位置完全对应;而符号的位置和种类可以通过映射关系来调整。这样就实现了比较完整的文本输入功能。

图 44  双手全键盘

还有两种设计键盘的思路,利用更少的手指位置。左侧的双手键盘将每个手指的字母都压缩到指肚位置;右侧类似,将按键都放在同一只手上,实现单手打字。这样的设计使得总体识别准确率提升,但操作相对全键盘复杂一些。同一个位置的不同字母有两种选择方式:输入复杂句子时,涉及到各种符号,通过连按手指的位置实现切换选择,松手即确定;输入简单句子时,比如英语单词的文本,可以用类似全键盘的单次选择,通过统计解码器来预测单词。

图 45  其他两种设计键盘的思路

PrinType指纹打字系统包括三个模块:中心模块、匹配模块和VR显示模块。在注册和打字时,中心模块接收到传感器的指纹图像,并对注册图像提取特征、拼接和存储,用户还能在中心模块进行键盘布局、字符映射的选择。打字时,匹配命令发送给匹配模块,完成1:N搜索,然后返回最佳匹配的索引。最后,索引等信息传输到VR显示模块,显示字符的同时还通过高亮提供视觉反馈。

图 46  PrinType指纹打字系统

为了定量评测打字性能,我们对比了三种指纹键盘与物理键盘。实验环境如下图所示,左侧是基准方法,即用户戴着头显用物理键盘打字;右侧是指纹打字的场景。这四类打字实验都看不到手或者键盘,因此在头戴显示器中提供了静态的键盘布局和按键的实时反馈,提醒按键的位置。这样可以公平对比打字性能。打字的数据集分为两种简单句子和复杂句子。简单句子是自然语言文本,只有26个小写字母。复杂句子来自计算机程序(MATLAB和Python代码),包含大小写字母、数字、符号等。

图 47  左图为物理键盘打字,右图为指纹打字

从下图可以看到,无论输入简单句子还是复杂句子,基准方法(物理键盘)都是最快的,不过差距并不明显。简单句子的实验借助于统计解码器,三种虚拟键盘速度都在30词/分钟左右;而复杂句子操作更复杂,用户使用不熟练,也没有解码器的帮助,因而速度下降了。再看错误率,简单句子有解码器纠错,未修正错误率都非常低;复杂句子就相对高一些,其中物理键盘的错误率比指纹打字高,错误率超过了5%。指纹打字错误率低的优势应该是受益于人对于自己手的本体感受。当然指纹打字更大的优势是便携性,这是键盘无法比拟的,也是AR/VR场景的文字输入迫切需要的。

图 48  打字性能对比,左图代表速度,右图代表未修正错误率

最后对于指纹打字中的错误情况进行细致的分析。这可以优化设计、以及引导用户更好的使用指纹打字。由三种键盘的混淆矩阵可以看出,主要的错误集中在对角线附近,也就是相邻键的错误识别。这类相邻键的错误很有可能是用户按到两个键之间,其特征有部分重合,从而导致识别错误。利用语言解码器可以修正大部分这类错误。

图 49  三种指纹键盘的混淆矩阵

下面的视频演示了指纹打字的注册和使用方法。

图 50  PrinType指纹打字演示

7. 总结

在人们的普遍印象中,指纹就等于身份识别。我们在研究指纹姿态估计、变形测量、比对的过程中,逐渐发现了指纹在交互中的各种应用,包括控制三维物体、打字等。这意味着指纹传感器不仅仅是身份识别传感器,还可以作为人机交互传感器。由于手是人机交互的主要器官,而交互操作的频率远高于身份识别,我相信指纹交互有望为指纹技术开辟更加广阔的应用场景。欢迎感兴趣的同行合作交流,一起推动指纹识别与交互技术的发展。

参考文献

这些论文的原文可以在这里下载:http://ivg.au.tsinghua.edu.cn/~jfeng/research.html

  1. Davide Maltoni, Dario Maio, Anil K. Jain, Jianjiang Feng. Handbook of Fingerprint Recognition (3rd Edition). Springer, 2022
  2. Jifeng Dai, Jianjiang Feng, Jie Zhou: Robust and Efficient Ridge-Based Palmprint Matching. TPAMI 2012
  3. Jianjiang Feng, Jie Zhou, Anil K. Jain: Orientation Field Estimation for Latent Fingerprint Enhancement. TPAMI 2013
  4. Xiao Yang, Jianjiang Feng, Jie Zhou: Localized Dictionaries Based Orientation Field Estimation for Latent Fingerprints. TPAMI 2014
  5. Xuanbin Si, Jianjiang Feng, Jie Zhou, Yuxuan Luo: Detection and Rectification of Distorted Fingerprints. TPAMI 2015
  6. Yijing Su, Jianjiang Feng, Jie Zhou: Fingerprint Indexing with Pose Constraint. Pattern Recognition 2016
  7. Xuanbin Si, Jianjiang Feng, B. Yuan, Jie Zhou: Dense Registration of Fingerprints. Pattern Recognition 2017
  8. Shan Gu, Jianjiang Feng, Jiwen Lu, Jie Zhou: Efficient Rectification of Distorted Fingerprints. TIFS 2018
  9. Zhe Cui, Jianjiang Feng, Shihao Li, Jiwen Lu, Jie Zhou: 2D Phase Demodulation for Deformable Fingerprint Registration. TIFS 2018
  10. Zhe Cui, Jianjiang Feng, Jie Zhou: Dense Fingerprint Registration via Displacement Regression Network. ICB 2019
  11. Qihao Yin, Jianjiang Feng, Jiwen Lu, Jie Zhou: Joint Estimation of Pose and Singular Points of Fingerprints. TIFS 2021
  12. Shan Gu, Jianjiang Feng, Jiwen Lu, Jie Zhou: Latent Fingerprint Registration via Matching Densely Sampled Points. TIFS 2021
  13. Zhe Cui, Jianjiang Feng, Jie Zhou: Dense Registration and Mosaicking of Fingerprints by Training an End-to-End Network. TIFS 2021
  14. Shan Gu, Jianjiang Feng, Jiwen Lu, Jie Zhou: Latent Fingerprint Indexing: Robust Representation and Adaptive Candidate List. TIFS 2022
  15. Ke He, Yongjie Duan, Jianjiang Feng, Jie Zhou: Estimating 3D Finger Angle via Fingerprint Image. IMWUT 2022
  16. Zongjian Liu, Jielin He, Jianjiang Feng, Jie Zhou: PrinType: Text Entry via Fingerprint Recognition. IMWUT 2022
  17. Yongjie Duan, Ke He, Jianjiang Feng, Jiwen Lu, Jie Zhou: Estimating 3D Finger Pose via 2D-3D Fingerprint Matching. IUI 2022
  18. Xiongjun Guan, Yongjie Duan, Jianjiang Feng, Jie Zhou: Direct Regression of Distortion Field from a Single Fingerprint Image. IJCB 2022

指纹识别与交互(冯建江,2022)相关推荐

  1. 指纹识别现状与进展(冯建江,2018)

    这是2018年4月15日在中科院自动化所第四期「CSIG 图像图形学科前沿讲习班」所做的报告.原载于雷锋网(清华大学冯建江:指纹识别现状与研究进展 | 雷峰网). 我的报告题目是<指纹识别现状与 ...

  2. 指纹识别真安全吗?简单技术处理后橘子皮都能解锁

    如今,手机和人们的关系越来越密切,很多个人信息,银行账号,支付应用等都存储或绑定在自己手机上,因此大家对于手机安全性也格外看重.而指纹验证无疑是给我们的个人隐私以及财产安全增加了一道防线.因为将机主的 ...

  3. 指纹识别综述(1): 导论

    指纹识别综述系列 1.导论:2.指纹传感器:3.特征提取:4.匹配:5.分类与检索:6.现场指纹识别: 7.指纹合成: 8.唯一性: 9.指纹系统安全:10.深度学习方法:11.专利. 本文主要基于& ...

  4. c++ opencv添加logo_Python+Opencv+Tkinter指纹识别与人脸识别的门禁兼考勤(二)

    一. 门禁考勤系统硬件设计 1 .硬件总体结构 PC端的intel处理器作为硬件平台的核心,是衡量系统能否达到标准的主要标志.本文结合考勤系统,采用intel i5处理器的PC与51单片机共同构建了门 ...

  5. 指纹识别零日攻击的仿真器

    Argos:指纹识别零日攻击的仿真器 摘要 简介 2.背景和相关工作 3.设计 4. 实现 4.1 扩展动态污点分析 4.1.1 标记 追踪 4.1.3 防止污染数据的无效使用 生成签名 4.2.1 ...

  6. python人脸识别门禁_Python+Opencv+Tkinter指纹识别与人脸识别的门禁兼考勤(二)

    一. 门禁考勤系统硬件设计 1 .硬件总体结构 PC端的intel处理器作为硬件平台的核心,是衡量系统能否达到标准的主要标志.本文结合考勤系统,采用intel i5处理器的PC与51单片机共同构建了门 ...

  7. 指纹识别综述(10): 深度学习方法

    指纹识别综述系列 1.导论:2.指纹传感器:3.特征提取:4.匹配:5.分类与检索:6.现场指纹识别: 7.指纹合成: 8.唯一性: 9.指纹系统安全:10.深度学习方法:11.专利. 本文会不定期更 ...

  8. opencv python考勤_Python+Opencv+Tkinter指纹识别与人脸识别的门禁兼考勤(二)

    一. 门禁考勤系统硬件设计 1 .硬件总体结构 PC端的intel处理器作为硬件平台的核心,是衡量系统能否达到标准的主要标志.本文结合考勤系统,采用intel i5处理器的PC与51单片机共同构建了门 ...

  9. 渗透技巧之403绕过_指纹识别

    403绕过清单 FFUF 路径模糊测试 ffuf -w 403_url_payloads.txt -u http://example.com/auth_pathFUZZ -fc 403,401,400 ...

最新文章

  1. HTML5column属性布局页脚,利用column多列属性调整页面文字列布局
  2. bzoj4636: 蒟蒻的数列
  3. 深度学习目标检测系列:faster RCNN实现|附python源码
  4. mysql 插入数据 自增长_如何在MYSQL插数据 ID自增
  5. 微信第一个“小程序”亮相:不是APP胜似APP!
  6. ui kit模板,让新手设计师临摹提高!
  7. Socket通信学习(一):Socket通信原理
  8. Doris之Schema Change
  9. python有什么用-学了Python一般可以用来干什么?老男孩教育告诉你!
  10. oracle 函数怎么个写法,Oracle表值函数的两种写法
  11. paip.提升效率----几款任务栏软件vc59
  12. Oracle 创建表语句
  13. 80套微信朋友圈小游戏源码分享
  14. IMX6ULL操作记录
  15. The repository 'http://ppa.launchpad.net/octave/stable/ubuntu bionic Release' does not have a Releas
  16. Coding and Paper Letter(四十二)
  17. Axure原型|天猫、京东、拉钩等网站banner原型分享
  18. 详细介绍光纤跳线接口类型PC, APC, UPC
  19. 《高效的秘密》第五,六章读后感
  20. SkyWalking--告警--使用/教程/示例

热门文章

  1. 坚石诚信ET199外壳加密方式
  2. 了解python语言的开发者_Python开发者
  3. 有源电力滤波器APF仿真模型,实验平台,基于dsp28335
  4. NYOJ-1239-引水工程
  5. pandas_设计样本(资产)组合
  6. Java字节转字符串
  7. 2020.03.04软件构造听课笔记
  8. golan学习(1)语言特性以及基本语法
  9. 在Ubuntu 16.04 / Linux Mint 18及更高版本上使用Epson L350(或L300 / L200系列扫描仪)
  10. smartctl 使用