Adv-Makeup:一种新颖不易察觉且可迁移的人脸识别攻击方法

1 摘要

现有的人脸识别系统的对抗样本缺乏针对黑盒模型攻击的可移植性，无法在实践中高效的攻击成功。该论文提出了一种统一的对抗人脸识别系统的方法——Adv-Makeup，该方法能够在黑盒环境下实现可感知和可转移的攻击,该方法使用混合模块在面部眼眶区域合成不易察觉的眼影。为了实现可移植性，Adv-Make实现了一种细粒度的元学习对抗攻击策略，以从各种模型中学习更多的一般攻击特征。与现有技术相比，Adv-Make能够在数字和物理场景下产生更多不易察觉的攻击，甚至可以攻击商业系统。

2 贡献

该论文的贡献可以总结为如下四条：

该论文提出的黑盒攻击方法Adv-Make可以在数字和物理场景下实现对人脸识别模型进行不可察觉和可迁移的攻击。
为了增强黑盒对抗攻击的不可感知性，作者引入了makeup生成模块，可以在眼眶区域添加自然眼影。
作者提出了一种化妆混合策略，以确保原图像和生成图像之间的风格和内容的具有一致性，从而进一步提高合成人脸的逼真度。
作者提出了一种任务驱动的细粒度元学习对抗攻击策略，以保证生成的组合的攻击能力，特别是提高了对抗样本在黑盒受害者模型上的可迁移性。

3 模型方法

Adv-Makeup框架包括三个组成部分如下图所示，即Makeup生成模块、Makeup混合模块和Makeup攻击模块。以没有化妆源面部图像和随机带有化妆品的人脸为输入，Makeup生成模块可以合成出具有逼真眼影的人脸。Makeup混合模块是为了进一步提高生成的对抗样本在视觉上不可区分的质量。Makeup攻击模型引入细粒度的元学习方法，使得生成的人脸具有对抗能力，进一步提高了黑盒条件下攻击的可迁移性。

3.1 Makeup生成模块

给定源图像 I s ∈ D s \boldsymbol{I}_s \in \boldsymbol{D}_s Is∈Ds和化妆图像 I m ∈ D m \boldsymbol{I}_m \in \boldsymbol{D}_m Im∈Dm，使用人脸对齐方法去生成不同人脸的围绕双眼的Bounding-Box分别为 O s \boldsymbol{O}_s Os和 O m \boldsymbol{O}_m Om。将 O s \boldsymbol{O}_s Os作为生成器 G G G的输入，并生成人脸眼影 O ^ s = G ( O s ) \boldsymbol{\hat{O}}_s=G(\boldsymbol{O}_s) O^s=G(Os)。接下计算区域 O s ⊙ ( 1 − M ) + O ^ s ⊙ M \boldsymbol{O}_s \odot (1-\boldsymbol{M})+\boldsymbol{\hat{O}}_s \odot \boldsymbol{M} Os⊙(1−M)+O^s⊙M，将该区域添加到源面部图像 I s \boldsymbol{I}_s Is中得到合成的人脸图像 I ^ s \boldsymbol{\hat{I}}_s I^s。为了提高生成的质量，作者引入了一个判别器去鼓励生成器生成的图像更加真实逼真。相应的生成器的损失函数和判别器的损失函数如下所示： L g e n = E O s [ log ⁡ ( 1 − D ( G ( O s ) ) ] \mathcal{L}_{gen }=\mathbb{E}_{\boldsymbol{O}_s}[\log(1-D(G(\boldsymbol{O}_s))] Lgen=EOs[log(1−D(G(Os))] L d i s = − [ E O m [ log ⁡ ( D ( O m ) ) ] + E O s [ log ⁡ ( 1 − D ( G ( O s ) ) ] ] \mathcal{L}_{dis}=-[\mathbb{E}_{\boldsymbol{O}_m}[\log(D(\boldsymbol{O}_m))]+\mathbb{E}_{\boldsymbol{O}_s}[\log(1-D(G(\boldsymbol{O}_s))]] Ldis=−[EOm[log(D(Om))]+EOs[log(1−D(G(Os))]]

3.2 Makeup混合模块

为了消除边界处明显的伪影和眼影块导致的风格，作者提出了一种Makeup混合模块来实现不易察觉性的生成。作者利用梯度约束目的是将损失函数转化为一个可微函数，以减轻生成边界上的变化。通过最小化损失函数，生成的面的图像细节能够被保留，同时改变颜色以匹配原始图像。梯度约束损失 L g r a d \mathcal{L}_{grad} Lgrad定义为: L g r a d = ∥ [ ∇ I s ⊙ ( 1 − M ∗ ) + ∇ h ( O ^ s ) ⊙ M ∗ ] − ∇ I ^ s ∥ 2 2 \mathcal{L}_{grad}=\|[\nabla \boldsymbol{I}_{s}\odot (1-\boldsymbol{M}^{*})+\nabla h(\boldsymbol{\hat{O}_s})\odot \boldsymbol{M}^{*}]-\nabla \boldsymbol{\hat{I}}_s\|^2_2 Lgrad=∥[∇Is⊙(1−M∗)+∇h(O^s)⊙M∗]−∇I^s∥22其中 M ∗ \boldsymbol{M}^{*} M∗表示的是由 M \boldsymbol{M} M扩展与原图像 I s \boldsymbol{I}_s Is尺寸相同的 0 − 1 0-1 0−1掩模。为了增强风格和内容的整合，以更好地提高合成眼影的自然度，作者利用预先训练的VGG16模型来计算风格损失 L s t y l e \mathcal{L}_{style} Lstyle和内容损失 L c o n t \mathcal{L}_{cont} Lcont，其损失函数为
L c o n t = ∑ p = 1 P α p 2 N p M p ∑ j = 1 N p ∑ k = 1 M p [ ( A p [ I ^ s ] − A p [ I s ] ) ⊙ M ∗ ] j k 2 \mathcal{L}_{cont}=\sum\limits_{p=1}^{P}\frac{\alpha_{p}}{2N_p M_p}\sum\limits_{j=1}^{N_p}\sum\limits_{k=1}^{M_p}[(A_p[\boldsymbol{\hat{I}_s}]-A_p[\boldsymbol{I}_s])\odot \boldsymbol{M}^*]^2_{jk} Lcont=p=1∑P2NpMpαpj=1∑Npk=1∑Mp[(Ap[I^s]−Ap[Is])⊙M∗]jk2 L s t y l e = ∑ p = 1 P β p 2 N p 2 ∑ j = 1 N p ∑ k = 1 N p ( B p [ I ^ s ] − B p [ I s ] ) j k 2 \mathcal{L}_{style}=\sum\limits_{p=1}^P\frac{\beta_p}{2N^2_{p}}\sum\limits_{j=1}^{N_p}\sum\limits_{k=1}^{N_p}(B_p[\boldsymbol{\hat{I}_s}]-B_p[\boldsymbol{I}_s])^2_{jk} Lstyle=p=1∑P2Np2βpj=1∑Npk=1∑Np(Bp[I^s]−Bp[Is])jk2其中 P P P为卷积神经网络的层数， N p N_p Np是激活的通道数， M p M_p Mp是每个通道中激活值的数量。 A p [ ⋅ ] ∈ R N p × M p A_p[\cdot] \in \mathbb{R}^{N_p \times M_p} Ap[⋅]∈RNp×Mp是第 p p p层神经网络的激活矩阵。 B p [ ⋅ ] = A p [ ⋅ ] A p [ ⋅ ] ⊤ ∈ R N p × M p B_p[\cdot]=A_p[\cdot]A_p[\cdot]^{\top} \in \mathbb{R}^{N_p \times M_p} Bp[⋅]=Ap[⋅]Ap[⋅]⊤∈RNp×Mp是一个特征提取的Gram矩阵。

3.3 Makeup攻击模块

为了使生成的Makeup具有对抗性，作者引入了一个针对人脸识别模型的攻击损失函数，并利用预先训练的人脸特征提取器。模拟攻击的损失可以表示为 T = 1 − cos ⁡ [ F ( I t ) , F ( I ^ s ) ] \mathcal{T}=1-\cos[F(\boldsymbol{I}_t),F(\boldsymbol{\hat{I}}_s)] T=1−cos[F(It),F(I^s)]其中 I t ∈ D t \boldsymbol{I}_t \in D_t It∈Dt表示的是目标图像。该损失函数目的是使得对抗样本与目标图像相近。作者提出了细粒度的元学习对抗攻击来提高黑盒的可迁移性。假定有 L L L个预训练人脸识别模型即 F = F 1 , F 2 , ⋯ , F L \mathcal{F}=F_1,F_2,\cdots,F_L F=F1,F2,⋯,FL，然后选择 L − 1 L-1 L−1模型作为元训练模型 T t r i ( θ G ) = 1 − cos ⁡ [ F i ( I t ) , F i ( G ( I s ) ) ] T^{i}_{tr}(\theta_G)=1-\cos[F_i(\boldsymbol{I}_t),F_i(G(\boldsymbol{I}_s))] Ttri(θG)=1−cos[Fi(It),Fi(G(Is))]其中 i ∈ { 1 , ⋯ , L − 1 } i \in \{1,\cdots,L-1\} i∈{1,⋯,L−1}， θ G \theta_G θG是生成器的参数， G ( I s ) G(\boldsymbol{I}_s) G(Is)表示Makeup生成的眼影伴随着Makeup混合生成的脸的图像。 T t r i ( θ ) \mathcal{T}_{tr}^i(\theta) Ttri(θ)表示的是不同模型分享同一个生成器，并从 L − 1 L-1 L−1个模型中收集到的梯度信息作为先验。当更新参数 θ G \theta_G θG为了获得 i t h i_{th} ith个副本则有 θ ′ G i ← θ G − α 1 ∇ θ G T t r i ( θ G ) . {\theta^{\prime}}^i_G \leftarrow \theta_G - \alpha_1 \nabla_{\theta_G}\mathcal{T}^i_{tr}(\theta_G). θ′Gi←θG−α1∇θGTtri(θG).另外一个人脸识别模型 F L F_L FL作为测试模型则有 T t e i ( θ ′ G i ) = 1 − cos ⁡ [ F L ( I t ) , F L ( G ( I s ) ) ] \mathcal{T}^i_{te}({\theta^{\prime}}^i_G)=1-\cos[F_L(\boldsymbol{I}_t),F_L(G(\boldsymbol{I}_s))] Ttei(θ′Gi)=1−cos[FL(It),FL(G(Is))]为了在两个阶段收集所有信息，作者提出了一个联合优化策略。 θ G ′ ′ ← θ G − α 1 ∑ i = 1 L − 1 ∇ θ G ( T t r i ( θ G ) + T t e i ( θ G ′ ) ) − α 2 ∇ θ G L g e n ( θ G ) − β 1 ∇ θ G L g r a d ( θ G ) − β 2 ∇ θ G L cont ( θ G ) − β 3 ∇ θ G L style ( θ G ) \begin{aligned} \theta_{G}^{\prime \prime} \leftarrow \theta_{G}&-\alpha_{1} \sum_{i=1}^{L-1} \nabla_{\theta_{G}}\left(\mathcal{T}_{t r}^{i}\left(\theta_{G}\right)+\mathcal{T}_{t e}^{i}\left(\theta_{G}^{\prime}\right)\right)\\&- \alpha_{2} \nabla \theta_{G} \mathcal{L}_{g e n}\left(\theta_{G}\right)-\beta_{1} \nabla_{\theta_{G}} \mathcal{L}_{g r a d}\left(\theta_{G}\right)\\&- \beta_{2} \nabla_{\theta_{G}} \mathcal{L}_{\text {cont }}\left(\theta_{G}\right)-\beta_{3} \nabla_{\theta_{G}} \mathcal{L}_{\text {style }}\left(\theta_{G}\right) \end{aligned} θG′′←θG−α1i=1∑L−1∇θG(Ttri(θG)+Ttei(θG′))−α2∇θGLgen(θG)−β1∇θGLgrad(θG)−β2∇θGLcont (θG)−β3∇θGLstyle (θG)

4 实验结果

为了证明所提出的Adv-Makeup在数字图像上的有效性，作者设计了多模型攻击实验来展示性能的改进，超越了其他攻击所应用的传统集成对抗训练。作者选择了七种不同的攻击方法进行比较，其中训练和测试范式严格遵循原始设置。如下表所示，每一列代表可迁移测试的剩余黑盒受害者模型的ASR结果。与其他攻击相比，Adv-Makeup在所有受害者模型上实现了最佳的可迁移结果，并显著优于竞争对手。

下图展示了Adv-Makeup的人眼不可察觉性，由Adv-Makeup生成的六张对抗人脸图像，每张脸图像下面的两个数字是由商业在线人脸识别系统给出的。对抗人脸和相应的匹配结果表明，该方法对光照、姿态、性别和眼妆强度等多种干扰因素具有鲁棒性。
下图展示了Adv-Makeup生成的攻击区域具有视觉上最难区分的外观，而其他形式需要更大的攻击区域，比较的量化结果再次凸显了Adv-Makeup在可迁移黑盒攻击中的优势。

如下图所示，与当前的物理攻击相比，Adv-Makeup的攻击强度明显高于其他攻击，这表明本文提出的方法可以在实际应用中生成更好可迁移性的对抗样本。