https://www.toutiao.com/a6683765601862681092/

作为最重要的计算机视觉任务之一，人脸识别技术（Facial recognition）基于深度神经网络（CNN）提取人脸特征来实现。

近年来，由于深度神经网络（CNN）的巨大进步，人脸识别技术取得了显著的发展，被广泛使用于身份认证的实际应用中，比如：手机解锁、闸机认证，甚至是金融业务中身份核实、支付等诸多场景。

但就如之前在《除了人脸伪装，“视频攻击”也在来的路上...》中提到的，深度神经网络（CNN）容易受到“对抗样本”的攻击影响，通过添加人眼无法察觉的小扰动，可以使模型产生不正确的预测。也已经有研究证明，通过定制一副带有干扰的“眼镜”，可以逃逸识别或者被误识为另一个人。

图：利用“对抗样本”生成的“眼镜”实现物理攻击的示例

当然，对抗性攻击（Adversarial Attack）可以评估人脸识别系统在实际应用中的鲁棒性（Robustness），识别深度神经网络模型的“弱点”并帮助提高鲁棒性。只是目前被熟知的大多是白盒攻击，真正接近现实场景的黑盒攻击鲜被关注。

瑞莱智慧RealAI首席科学家、清华大学朱军教授率领的研究团队最新发表《Efficient Decision-based Black-box Adversarial Attacks on Face Recognition》的研究论文，提出了一种对人脸识别系统基于决策的黑盒攻击方法——演化攻击（Evolutionary Attack），该方法成功攻击了真实环境下的人脸识别系统。

一、对人脸识别系统的对抗攻击

根据攻击者对受害模型背后信息的获取程度，可以将对抗攻击大致分为两类：

白盒攻击（White-box Attacks）：获取机器学习模型内部的所有信息和参数进行攻击，基于给定模型的梯度生成对抗样本，如Fast Gradient Sign Method（FGSM）；
黑盒攻击（Black-box Attacks）：神经网络结构为黑箱，仅通过模型的输入和输出，生成对抗样本；

虽然已有研究能用带有干扰的“眼镜”来攻击，但现有对人脸识别的攻击是白盒攻击，攻击者需要知道被攻击系统的内部结构和参数。然而，大多数现实世界的人脸识别系统是“黑盒子”，当攻击者无法访问模型详细信息时，白盒攻击显然不适用。

黑盒攻击是攻击者只能获取受害模型的输入输出信息，目前主要实现方法有基于迁移的攻击（transfer-based）和基于访问的攻击（query-based）。基于迁移的攻击能够以极少的访问次数（~10次）实现攻击，但不能保证个体级别的攻击成功。

基于访问的攻击则依赖于模型的预测分数，以高访问量的代价(~10000次)来提升个体攻击的成功率。根据访问过程中所获信息的特点，基于访问的攻击可以细分为基于分数的攻击（score-base）和基于决策的攻击（decision-based）。

基于分数的攻击需要获得一个连续的预测分数，但这在大多数现实场景中并不适用。比如，生活中的人脸识别系统只输出解锁/不解锁的离散决策，而不是一个相似度分数。当只能获得系统的离散决策时，基于决策的的攻击是更合适的选择。

图：基于决策的黑盒攻击设置演示

基于决策的攻击是直接攻击，完全依赖于模型的最终决策，只能通过输入输出，目前已经有几种方法被提出用来执行基于决策的黑盒攻击，优化方法（Optimization-based）、边界攻击（Boundary Attack）和在仅标签设置（NES-LO）中扩展NES方法。

然而，这几种方法大多需要较多的访问，效率不够，或是在有限的访问下生成的扰动较大。为此，朱军教授率领的研究团队提出一种更加高效的方法—演化攻击（Evolutionary Attack ），攻击的目标是通过有限的访问生成具有最小扰动的对抗样本，这是目前首次尝试在这种情况下对人脸识别进行对抗攻击的研究。

二、演化攻击（Evolutionary Attack）

最新提出的演化攻击，给定攻击的目标函数，可以单独通过访问生成对抗样本，通过对局部几何图形进行建模以找到更好的搜索方向，并减小搜索空间的维度以进一步提高效率。

不同访问数下，针对SphereFace，CosFace和ArcFace不同目标模型，优化方法生成的对抗图像在不同搜索空间维度下的平均失真（MSE），搜索空间的维度m设置为15×15×3、30×30×3、45×45×3、60×60×3和112×112×3，演化攻击在较低维度的搜索空间中收敛得更快。

应用演化攻击对目前几种先进的人脸识别模型进行鲁棒性评估，与上文提到的三种基于决策的黑盒攻击方法进行比较，分别进行人脸识别下两个子任务：面部验证和面部识别。

如表1、表2所示，在LFW数据集分别进行面部验证和面部识别的结果，SphereFace，CosFace和ArcFace不同目标模型下不同方法生成的对抗图像的平均失真（MSE），分别对应1000、5000、10000和100000访问次数，图1 、图2 分别对应的是失真曲线图。

表1

表2

图1

图2

不难看出，演化方法的效率更高并且实现更小的失真，给定5000个访问下，演化方法的失真率比优化方法（Optimization）的失真率小约30倍。

从对抗图像和原始图像上来看，ArcFace目标模型下进行面部验证的逃逸攻击和模拟攻击，最初的对抗样本图像（下图虚线右侧第一张）是随机噪声或攻击的目标图像，随着访问次数的增加，对抗图像和原始图像之间的失真逐渐减小。

可以看到，2000个访问足以生成人眼无法察觉的对抗样本。对于NES-LO，首先使用标签预测来估计预测概率（例如，25个访问），然后通过NES近似梯度（例如，40次试验），此方法需要对一次更新进行1000次以上的访问，攻击效果最差。

另外，我们需要注意的是，人脸识别模型极易受到对抗样本的攻击影响，这些对抗样本以黑盒攻击方式欺骗神经网络，只有接近1e-5的失真，人眼完全不可察觉。

三、成功攻击真实世界的人脸识别系统

将演化攻击应用于腾讯AI Open Platform中的人脸验证API，以验证其实际适用性。该人脸验证API，允许用户上传两张面部图像，并输出相似性得分，将阈值设置为90，即如果相似性得分大于90，则预测两个图像是相同的身份，如果小于90，则预测是不同的身份。

从LFW数据集中选择10对图像来执行模拟攻击，每对的原始两张图像来自不同的身份，为其中一张添加扰动，使得API将两张图像识别为相同的身份。将演化攻击结果与Boundary 和Optimization方法进行比较，如下图所示，演化攻击下的失真仍然比其他方法小。

演化攻击生成的对抗图像在视觉上与原始图像更相似，人眼难以察觉，而其他方法生成的对抗图像失真严重，人眼可以察觉出。

四、最后：不容忽视的AI安全问题

尽管人脸识别技术在各种应用中取得了巨大成功，但完全基于决策的黑盒攻击——演化攻击方法通过结合针对图片的降维技术和演化算法，即便对模型的结构、参数完全不清楚的情况下，也可以对识别系统实现“最佳”的攻击，且无需大量访问、不易被察觉。可以说，这个方法将真实世界人脸识别系统存在的安全漏洞极大地暴露出来。

在实际应用中，如果被带有“特殊目的”的人攻击，后果将是不可设想的。

图：UC伯克利曾发布的物理对抗样本，以贴纸的形式放在停车路标上模拟干扰自动驾驶

比如超市的人脸支付，或许只需戴一副特质眼镜，就可以盗用他人账号进行支付；车站、银行的身份认证系统或许也会因为简单的干扰而误识，盗取他人身份。

再比如计算机视觉技术的其他方向，自动驾驶汽车的识别系统，路牌上（例如，将停车标志变成200公里/小时的速度限制）或路灯上（例如，将红灯变成绿灯）的微小干扰都可能造成严重的后果。

当然，对抗攻击技术的进步也将倒逼防御技术、AI安全技术的不断发展，一切研究都旨在打造安全、可靠的人工智能。

参考论文：Yinpeng Dong, Hang Su, Baoyuan Wu, Zhifeng Li, Wei Liu, Tong Zhang, and Jun Zhu.Efficient Decision-based Black-box Adversarial Attacks on Face Recognition

论文链接：（可自行下载）

https://arxiv.org/pdf/1904.04433.pdf

“黑盒”下的攻击实现，真实世界的“人脸识别”遭遇危险！相关推荐

Linux下基于百度智能云平台人脸识别
Linux下基于百度智能云平台人脸识别 1.百度智能云接口及简介 https://cloud.baidu.com/product/face 接口技术文档: 2.人脸检测属性分析项目示例硬件平台 ...
人脸识别与膜虹识别_当人脸识别遭遇口罩，虹膜识别的机会来了
本文转自[科技日报]: 当人脸识别遭遇口罩,虹膜识别的机会来了专家指出虹膜识别标准体系还需进一步完善本报记者马爱平突如其来的新冠肺炎疫情,让人脸识别(Face ID)技术遭遇尴尬,因为一旦用户 ...
人脸识别很危险！美斯坦福大学攻破，千万别拿来当网络身份认证
人脸识别很危险!美斯坦福大学攻破,千万别拿来当网络身份认证 http://mp.weixin.qq.com/s?__biz=MzIxMDIwODM2MA==&mid=2653906207&am ...
win10环境下基于face_recognition搭建自己的人脸识别软件
在win10环境下安装face_recognition,了解face_recognition中api的使用,如人脸截取.人脸矫正.人脸特征提取.人脸关键点提取.人脸mask获取.人脸特征比对等功能.最 ...
Python 在 Windows 下利用 face_recognition 和 OpenCV 实现人脸识别
在安装Python的一些库时,遇到的错误及解决办法: # OpenCV的介绍.安装和使用 # OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,OpenCV用C++语言编写, # 支持 ...
中端手机的下一个标配，或许就是人脸识别
iPhone X作为率先搭载了人脸识别的手机,价格比以往的iPhone上涨了一千到两千左右.接下来的手机厂商也都把人脸识别功能搭载在了旗舰产品上,直接给消费者留下了人脸识别=高价的印象. 现在荣耀7C ...
人脸识别与膜虹识别_当人脸识别遭遇口罩：虹膜识别可作替代方案，比人脸更难伪造...
突如其来的新冠肺炎疫情,让人脸识别(Face ID)技术遭遇尴尬,因为一旦用户戴上口罩,就难以实现人脸解锁.近日,有消息表示苹果公司iOS系统的更新版将推出一个重要功能,就是"戴口罩也可使用 ...
《繁凡的论文精读》（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军）
点我一文弄懂深度学习所有基础和各大主流研究方向! <繁凡的深度学习笔记>,包含深度学习基础和 TensorFlow2.0,PyTorch 详解,以及 CNN,RNN,GNN,AE,GAN, ...
CVPR 2019 | 针对人脸识别系统的高效黑盒对抗攻击算法
本工作提出了一种高效的基于决策的黑盒对抗攻击算法,在业内第一次以完全黑盒的方式成功地实现对人脸识别系统的对抗攻击.本工作由腾讯 AI Lab 主导,与清华大学,香港科技大学联合完成,发表于 CVPR ...

“黑盒”下的攻击实现，真实世界的“人脸识别”遭遇危险！

一、对人脸识别系统的对抗攻击

二、演化攻击（Evolutionary Attack）

三、成功攻击真实世界的人脸识别系统

四、最后：不容忽视的AI安全问题

“黑盒”下的攻击实现，真实世界的“人脸识别”遭遇危险！相关推荐

最新文章

热门文章