Face photo recognition using sketch (人脸画像合成)

paper(原文): Xiaoou Tang, Xiaogang Wang. “Face photo recognition using sketch.” Proceedings. International Conference on Image Processing. Vol. 1. IEEE, 2002.

1. Eigenface

1.1

利用协方差矩阵得到eigenvectors(也称为eigenfaces)后，任意一张人脸图像都可以用eigenfaces的权重来表示。

这些权重构成了表示人脸的征向量。

当给定新的测试图像后，权重系数(特征向量)通过将图像投影到eigenvectors构成的空间得到。之后分类任务可以通过比较测试图像和gallery set图像的特征向量来完成。

投影：比如三维空间的一个向量xxx(有长度和方向)，可以将它分别投影到三个坐标轴。也就是通过向量叉乘或者向量点积，得到每个方向的分量是多少。

1.2

对于给定的一张人脸图像, 可以表示为n维向量qqq。对于训练数据中的M张图像取平均。得 qu=1M∑i=1Mqiq_u= \frac{1}{M} \sum_{i=1}^M q_iqu=M1∑i=1Mqi。

之后得到减去均值后的每张图像pi=qi−qup_i=q_i-q_upi=qi−qu。

训练集合构成了一个N×MN \times MN×M的矩阵P=[p1,p2⋯ ,pM]P=[p_1,p_2\cdots,p_M]P=[p1,p2⋯,pM].

这样得到协方差矩阵W=PPTW=PP^TW=PPT，后续应该对这个矩阵进行特征分解得到特征向量来作为我们的特征脸(eigenfaces)。但是由于N较大(图像中的像素太多),论文采用另一种方式得到特征向量。

先对PTPP^TPPTP特征分解，得(PTP)VP=VP∧P(P^TP)V_P=V_P\wedge_P(PTP)VP=VP∧P。

两边左乘PPP,可得：(PPT)PVP=PVP(PP^T)PV_P=PV_P(PPT)PVP=PVP

所以W=PPTW=PP^TW=PPT的正交eigenvetor matrix 为EP=PVP∧−12E_P=PV_P\wedge^{-\frac{1}{2}}EP=PVP∧−21，(EpE_pEp is a nnn by mmm matrix)证明见下：

proof:

(PTP)VP=VP∧P(P^TP) V_P =V_P\wedge_P(PTP)VP=VP∧P
⇒VPT（PTP）VP=∧P\Rightarrow V_P^T（P^TP）V_P =\wedge_P⇒VPT（PTP）VP=∧P
⇒∧P−12VPT（PTP）VP∧P−12=I\Rightarrow \wedge_P^{-\frac{1}{2}}V_P^T（P^TP）V_P \wedge_P^{-\frac{1}{2}}=I⇒∧P−21VPT（PTP）VP∧P−21=I

所以EPTEp=∧−12VPTPTPVP∧−12=∧−12VPTPTPVP∧−12=IE_P^T E_p=\wedge^{-\frac{1}{2}} V_P^T P^T P V_P \wedge^{-\frac{1}{2}} =\wedge^{-\frac{1}{2}} V_P^T P^T P V_P \wedge^{-\frac{1}{2}}=IEPTEp=∧−21VPTPTPVP∧−21=∧−21VPTPTPVP∧−21=I

所以E_P正交，又因为(PPT)PVP∧P−12=PVP∧P−12∧P32(PP^T) PV_P\wedge_P^{-\frac{1}{2}} =PV_P\wedge_P^{-\frac{1}{2}}\wedge_P^{\frac{3}{2}}(PPT)PVP∧P−21=PVP∧P−21∧P23，
所以E_P是W的eigenvetor matrix。

得到了eigenvectors之后，对于给定的人脸照片PkP_kPk，投影系数bpb_pbp可以通过bp=EpTPkb_p=E_p^T P_kbp=EpTPk确定 (将n维向量投影到m个特征脸构成的空间)。bpb_pbp就是用于人脸分类的特征向量。

这样人脸可以通过等过eigenvectorsEPE_PEP和权重系数bpb_pbp重构，即 Pr≈EpbpP_r \approx E_p b_pPr≈Epbp。

2. Face photo recognition using sketch

2.1

给定一些照片和对应的素描画像。要求输入新的照片后能够生成对应的画像。

在训练集中：
pr=PVp∧−12bp=Pcpp_r= PV_p\wedge^{-\frac{1}{2}}b_p=Pc_ppr=PVp∧−21bp=Pcp,其中cp=Vp∧−12bp=[cp1,cp2,...,cpM]Tc_p=V_p \wedge^{-\frac{1}{2}}b_p=[c_{p_1},c_{p_2},...,c_{p_M}]^Tcp=Vp∧−21bp=[cp1,cp2,...,cpM]T。

pr=Pcp=∑i=1Mcpipip_r=Pc_p=\sum_{i=1}^M c_{p_i}p_ipr=Pcp=i=1∑Mcpipi

也就是说训练集中的特征脸组合出了一个新的脸，
假设它们对应的画像保持相同的线性关系，有:

sr=∑i=1Mcpisis_r=\sum_{i=1}^M c_{p_i}s_isr=i=1∑Mcpisi

也就是说测试的时候，给出一张照片，通过bp=EpTPkb_p=E_p^T P_kbp=EpTPk得到feature vector(投影系数)，然后根据cp=Vp∧−12bpc_p=V_p \wedge^{-\frac{1}{2}}b_pcp=Vp∧−21bp求出cpc_pcp。
在根据特征脸照片对应的画像和cpc_pcp线性组合得到待求的人脸画像srs_rsr。

这种假设明显有它的合理性：如果训练集中的一个画像对应的照片和测试时给定的照片越相近，这张画像对于待求画像的生成贡献就应该越大。
举个极端的例子：如果给定特征脸中的一张照片来测试，那么这张特征脸的权重系数应该为1，其它特征脸的系数应该为0。这样重构出的画像就是训练集中这张特征脸对应的画像。

2.2

这样，

利用训练集中的画像得到一个eigensketch vectors。
将galleryset中的照片通过上述方法转换成画像。
这样给定一个probe画像后，就可以通过eigenface的方法进行人脸识别了。(将它们都投影到eigensketch vectors 上得到feature vectors，再根据feature vectors的距离远近来分类)