本发明涉及人脸识别技术领域，具体涉及一种基于人脸识别技术进行人物关系挖掘的系统及其方法。

背景技术：

人脸识别作为生物身份识别的典型技术，由于不需要被检测个体的主动配合，近年来在人机交互，安防，身份认证，娱乐，和医疗看护等方面得到大量的应用。人脸识别技术包括：人脸检测，特征提取和特征匹配和分类。人脸检测的方法有：HARR扫描，HOG扫描，ADABOOT学习，深度学习CNN物体检测等。特征提取的方法有：PCA本征脸，深度学习CNN特征提取等。特征匹配和分类包括：1-NN，k-NN和SVM。将上面提到的各种人脸检测，特征提取和特征匹配的方法有机的结合，就可以得到目前通用的人脸识别技术。

在智慧城市，安防和公安技术侦察中，人脸识别是常用的人工智能技术手段。我们通常需要识别系统中输入一张被查询人的照片，由系统返回被查询人在哪些摄像头上出现过，以及出现的时间点和当时的图片，视频片段。在进行公安技术侦察的过程中，我们还需要分析被查询人出现的图片，从这些图片上查找处与被查询人同时出现的其他与被查询人可能存在相关关系的人物对象来进一步分析。

在现有安防公安部署人脸系统中，需要人工手动对查询结果进行分析，通过系统返回的图片，人工圈出图片中其他与被查询人可能存在相关关系的人物对象，然后进行相关关系挖掘然后输入系统进行二次查询。现有的人物关系的挖掘，只能依靠人工，不但工作量大，费时费力，且很容易忽略相关信息，而且由于经验的不同，不同的刑侦人员挖掘出的人物关系就会出现极大的差异，进而会对刑侦工作带来额外的难度。因此急需一种人物关系自动挖掘的系统及方法，一方面降低查询人员的工作量，提高人物关系挖掘的准确性，另一方面能够消除由于查询人经验不同带来的人物关系挖掘的差异性。

技术实现要素：

针对现有技术的问题，本发明提出一种基于人脸识别系统的人物关系挖掘系统及方法，利用特征匹配以及聚类的方法，自动挖掘获取人脸图片之间的人物关系，提供一张和被查询人按关联程度排名的列表和相关照片，提高公安技术侦察的效率。

本发明为解决上述技术问题所采用的技术方案是：

本发明提供一种基于人脸识别系统的人物关系挖掘系统，包括视频采集模块，特征提取模块，数据存储模块，数据处理模块；

所述视频采集模块为人脸识别系统中的视频采集装置，一般为布设在指定区域内的摄像头，用于实时采集指定范围内的视频帧图像；

所述特征提取模块，用于对每一视频帧图像中出现的多个不同人脸分别进行特征提取，生成每张人脸对应的人脸特征矢量并将其输出至数据存储模块；用于对输入的被查询人的人脸进行特征提取，生成被查询人对应的人脸特征矢量；

所述数据存储模块为一人脸信息数据库，数据库中存储的每条记录对应视频帧图像中出现的每一个人物相应的人脸信息，所述的人脸信息包括人脸特征矢量，人脸图片，人脸出现的真图片，人脸出现的视频段和全系统唯一的帧序号；

所述数据处理模块，用于对被查询人的特征矢量和人脸信息数据库中的每条记录的特征矢量进行距离匹配，返回符合条件的人脸记录；用于对符合条件的人脸记录进行聚类处理，生成由多组类记录构成的人脸信息表；用于根据每组类记录中记录对象的多少，对多组类记录进行排序并输出。

一种基于人脸识别系统的人物关系挖掘方法，包括以下步骤：

S1，实时获取视频采集系统采集的视频帧图像序列，对每一帧图像中出现的多个人脸图片分别进行特征提取，生成每张人脸对应的特征矢量，并将该特征矢量及对应的人脸信息存储在服务器中的人脸信息数据库；人脸信息数据库存储的人脸信息至少包括以下内容：人脸图片，人脸出现的帧图片，人脸出现的视频段和全系统唯一的帧序列号。

S2，输入被查询人脸照片，通过检测裁剪出照片上的人脸部分，纠正并摆正人脸，然后进行特征提取，得到被查询人的特征矢量；

S3，将人脸信息数据库上每张人脸图片对应的特征矢量和被查询的特征矢量进行距离匹配，若距离小于预定阈值则返回该人脸图片对应视频帧序号；

S4，根据步骤S3返回的帧序号依次在人脸信息数据库中进行查询，获取除与被查询人的特征矢量的距离小于预设阈值的人脸记录以外的其他所有帧序号相同的人脸记录，并进行聚类处理，生成由不同目标人物对应的类记录组成的类记录表，同时计算每组类记录的中心特征矢量；

S5，针对每组类记录，分别计算每条记录对应的特征矢量与该组类记录的中心特征矢量的距离，删除距离大于预设阈值的记录；

S6，根据每组类记录中所包含的记录的多少按照降序排序并输出。

本发明的有益效果是：

本发明可以自动挖掘获取的人脸图片之间的人物关系，提供一张和被查询人按关联程度排名的列表和相关照片。和目前手工挖掘手段相比，这大大方便和提高了公安技术侦察的效率。

附图说明

图1为系统结构示意图；

图2为方法流程图；

图3图4为方法实际执行过程中的图解示意。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

如图1所示，本发明提供一种基于人脸识别系统的人物关系挖掘系统，包括视频采集模块，特征提取模块，数据存储模块，数据处理模块；

所述视频采集模块为人脸识别系统中的视频采集装置，一般为布设在指定区域内的摄像头，用于实时采集指定范围内的视频帧图像；

所述特征提取模块，用于对每一视频帧图像中出现的多个不同人脸分别进行特征提取，生成每张人脸对应的人脸特征矢量并将其输出至数据存储模块；用于对输入的被查询人的人脸进行特征提取，生成被查询人对应的人脸特征矢量；

所述数据存储模块为一人脸信息数据库，数据库中存储的每条记录对应视频帧图像中出现的每一个人物相应的人脸信息，所述的人脸信息包括人脸特征矢量，人脸图片，人脸出现的真图片，人脸出现的视频段和全系统唯一的帧序号；

所述数据处理模块，用于对被查询人的特征矢量和人脸信息数据库中的每条记录的特征矢量进行距离匹配，返回符合条件的人脸记录；用于对符合条件的人脸记录进行聚类处理，生成由多组类记录构成的人脸信息表；用于根据每组类记录中记录对象的多少，对多组类记录进行排序并输出。

采用上述系统，本发明提供一种基于人脸识别系统的人物关系挖掘方法，包括以下步骤：

S1，实时获取视频采集系统采集的视频帧图像序列，对每一帧图像中出现的多个人脸图片分别进行特征提取，生成每张人脸对应的特征矢量，并将该特征矢量及对应的人脸信息存储在服务器中的人脸信息数据库；

S2，输入被查询人脸照片，通过检测裁剪出照片上的人脸部分，纠正并摆正人脸，然后输入深度学习神经网络算法CNN中进行特征提取，得到被查询人的特征矢量；

S3，将人脸信息数据库上每张人脸图片对应的特征矢量和被查询的特征矢量进行距离匹配，若距离小于预定阈值则返回该人脸图片对应视频帧序号；所述的距离可以是余旋距离，欧氏距离，相关性等。

S4，根据步骤S3返回的帧序号依次在人脸信息数据库中进行查询，获取除与被查询人的特征矢量的距离小于预设阈值的人脸记录以外的其他所有帧序号相同的人脸记录，并进行聚类处理，生成由不同目标人物对应的类记录组成的类记录表，同时计算每组类记录的中心特征矢量；

S5，针对每组类记录，分别计算每条记录对应的特征矢量与该组类记录的中心特征矢量的距离，删除距离大于预设阈值的记录；

S6，根据每组类记录中所包含的记录的多少按照降序排序并输出；

S7，当人脸信息数据库获取视频采集系统新采集的人脸图片信息时，将被查询的特征矢量与新采集的人脸图片对应的特征矢量进行距离匹配，若距离小于预定阈值则返回该人脸对应的帧序号，并提取所有相同帧序号的人脸图片对应的特征矢量；

S8，针对每一条特征矢量，遍历类记录表，若该特征矢量与类记录表中某组类记录的中心特征矢量的距离小于预设阈值，则将该特征矢量对应的人脸记录归入该组类记录中并重新计算该组类记录的中心特征矢量；否则在类记录表中为该特征矢量对应的人脸记录创建一个新类，同时利用该特征矢量初始化新类的中心特征矢量。

说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。