论文大讲堂-2014-IJCV-A Comprehensive Survey to Face Hallucination

3 子空间学习框架

这里的话我们的子空间学习方法是通过采用一种方法来对于我们的子空间 $Rm\mathscr{R} ^ m$ ，进而把我们的子空间嵌入到一个高的维度空间 $Rn\mathscr{R} ^ n$ ，这里的话我们设置 $n > m$ ，同时的话我们的线性子空间学习（比如说PCA分量分析，在本地保留映射），这种方法的话主要就是通过一个映射矩阵 $\in \mathscr{R} ^ {n*m}$ ，这个映射矩阵是我们通过在我们的训练样本数据中学习得到的。这里的话我们的矩阵 $U$ 通常可以通过解决一个标准的特征值分解的问题进而解决的，或者是通过一个生成特征值问题解决。

$Aui=λiBuiAu_i = \lambda_i B u_i$

这里的话，我们的 $A$ 和 $B$ 分别代表着不同子空间学习方法中的各种意义。这里的话， $u_i$ 是特征值 $λi\lambda_i$ 特征向量，同时的话整个映射矩阵 $U$ 是由一系列的 $u_i$ 组成的。这里的话当我们给定一个输入图像活着图像特征 $\in \mathscr{R} ^ n$ 的时候，这里的话我们可以找到在对应子空间 $R\mathscr{R}$ 中间的映射值。这个映射值可以被认为是 $f_p roc = U^T f$ 。同时的话，vector-based和matrix-based子空间学习方法以外，这里的话这些方法可以相似的被认作是和多线性分析（tensor analysis)类似的。这里的话，我们的nonlinear subspace 学习方法主要就是通过nonlinear manifold learning（locallylinear embedding）来进行的。这里的话我们的整个constructing a local neighborhood已经被研究，但是这种方法的话没有显性的mapping function，当我们的子空间学习框架被应用到了FH（Face halluction）的时候，我们的大多数方法认为FH的各个部分都拥有相同的线性权重组合。这里的话在图7展示了我们的子空间学习框架。

一个完整的方法比如说eigentransformation方法来说，这里的partition mask（分区域遮罩块）代表我们保留了整幅人脸的照片，同时这里的K代表着训练图像对的数目。

3.1 子空间学习方法

Tang 和 Wang他们从02-05年就对于子空间学习方法进行了研究。这里的话他们提出了一种eigentransform方法用来进行人脸结构的分析，同时通过引入了PCA主成分分析方法进行了人脸超分辨率的任务。这种方法的话是预先假设我们的人脸草图和我们的对应图像共享相同的线性相关系数的。

这里的话，我们的输入图像 $P_r$ 是首先在图片训练集 $P$ 进行了一个映射，通过这个映射值后，我们可以得到线性混合系数 $c_p$ .

$Pr=PcP.=∑i=1McpiPiP_r = P_{c_P}. = \sum_{i = 1}^M c_{p_i} P_i$

这里的话，我们的目标草图 $s_r$ 之后被通过一个线性混合在训练集中间的草图 $S$ 进行了线性合成，合成的系数是我们之前提到过的系数 $c_p$

$sr=Scp=∑i=1McpiSis_r = S c_p= \sum_{i=1} ^ M c_{p_i}S_i$

在Tang 和 Wang的研究中，我们的形状首先通过材质上的不同进行了区分，这些我们的特征变换被应用到了形状和材质之上。最后，融合形状和纹理被用来对应于输入照片的草图。这种特征变换的方法被应用到了FSR上面。

这里的话我们要考虑到在我们的草图和原始的人脸图像相比，提供的信息更少，这可能在人脸识别的表现中会产生印象。在Li的团队中提出来了一种从草图小块合成一整张图片的方法。在提出来的这个方法中间，他们也采用了特征分析的放啊，通过在一个含有training sketches和training photos混合空间中进行，而不是在一个照片空间中进行。

通过将从特征分析获得的混合投影矩阵分离成两个耦合矩阵 - 特征照片矩阵和特征结构矩阵，通过将查询草图投影到由特征结构矩阵的列跨越的草图空间上来获得投影系数。

Park 和 Lee提出了一种用作人脸超分辨率方法，这种方法和Tang和Wang的工作是非常相似的。该方法是一种基于自上而下学习框架的面部可变形模型。

这个模型的话，形状和纹理信息首先使用后向扭曲分离，然后分解为从低分辨率训练图像中收集的形状和纹理的线性组合。通过求解一个最小二乘问题找到重建权重，之后通过使用前向扭曲将估计的高分辨率形状与估计的高分辨率纹理相结合，可以使高分辨率图像缩小。

他们进一步延伸了这个想法，进而使用了一个两步方法。在这种方法中，高分辨率和低分辨率的训练图像都被分割成为了自己，之后，对于每一个输入的低分辨率图像来说，最近的training subset都被选择来作为nearest cluster，这里的nearest cluster是在欧几里得距离测度进行测量的。

之前我们提到的PCA-based方法，都是在一整张人脸图像上面进行了perform。这种方法的话会带来一些模糊效应，也有可能损失一些重要的好的细节信息。Liu等人团队提出了一种patch-based的放啊，这种方法的话使用了multilinear analysis的技巧同时也使用了coupled residue compensate strategy耦合残留补偿策略。

这里的话，我们使用tensorpath super-resolution来进行一个初始化的估计。通过在低分辨率、高分辨率训练图像上面使用了PCA策略之后，我们最终通过求解一个最小二乘问题，进而就可以生成一个最终的高分辨率图片。这里，他们提出来的方法恢复的高分辨率的人脸图像在结果上是有提升的，特别是对于一些细节特点来说，和全局型的方法相比，在细节上是有提升的。

和PCA方法不同的是，locality preserving projection (LPP)——局部保留映射方法是用来计算投影weight的。Zhuang等人的团队提出了一个2步的FSR方法：这种方法在局部保留了初始估计中引来的幻觉和残差补偿的邻域重建。

LPP首先用于从训练图像和低分辨率输入图像中提取嵌入特征。接下来，我们从获得的训练图像特征和训练图像强度中学习径向基函数（RBF）回归模型，其特征在于回归系数。
随后，我们输入了原始输入图像的相关特征之后，整张图片通过一个RBF 回归模型进行了输出。在我们的residual compensation阶段，传统的邻接嵌入方法被用来猜测高频率分段的信息。最后，我们通过添加估计的整体面部图像和高频信息来融合高分辨率图像。

Zhang等人的团队提出了一种适应性学习方法，这种方法是基于LPP的。通过给定一个输入的低分辨率照片，他们首先对其进行内插以获得其高分辨率的对应图像，然后我们使用低通滤波器对其进行滤波以生成低频面部图像。这里的话，有一个相似的过程被应用在了低分辨率的训练图像中处理中。这个LPP的过程在低分辨率的训练图像中被使用，用来获取图像的基础部分，同时的话可以得到对应的数据矩阵。这里的话我们的Residual faces接着是从高分辨率的人脸中获得的，其中的话我们移除了相关的低分辨率频率部分。通过我们对于输入的低分辨率的图像小块的投影，我们的低分辨率小块特征也被获取到了。在基于欧几里德距离的度量下，我们通过这个度量来得到映射数据矩阵中的相似的特征，并且使用类似eigenttraformation（特征值变换）的方法从训练残差图像中对高频残差图像进行检测，所述训练残差图像的索引在特征选择步骤中确定。通过将低频面部图像添加到残留图像来合成最终的高分辨率图像。

3.2 基于非线性流形学习的方法

受局部线性嵌入（Roweis和Saul 2000）的启发，Chang和Xiong（2004）提出了一种超分辨率算法。该方法假设从两个我们从两个方法上采样的低分辨率面部图像及其对应的高分辨率图像，共享相似的几何结构。这里的话所提出的方法在补丁级别工作，并且所有引用的图像在开始时被分成补丁。

这里的话，我们给定一个输入的低分辨率图像小块 $y$ ，给定输入的低分辨率图像块 $y$ ，从最低分辨率的训练图像中提取K nearest neighbors $y_i（i = 1，...，K）$ 。这里的话，我们重建的权重向量 $W$ ，是通过求解一个最小平方问题。

$min⁡W∣∣y−∑i=1KWiyi∣∣2,s.t.∑i=1KWi=1\min_{W} ||y - \sum_{i=1}^K W_iy^i||^2, s.t. \sum_{i=1}^K W_i = 1$

这里的话，我们通过对于K个选定了的低分辨率候选小块相关的K个高分辨率图片换来进行我们的高频率分量信息 $x^i$ 进行线性组合，这里的话 $∑i=1Kwixi\sum_{i=1}^K w_i x^i$ 代表的是我们目标高分辨率的图像小块是由我们对于相关的低分辨率信息在低分辨率输入图像传输进行生成后得到的。这里的话我们所有的获得的图像小块最终的话都合成一幅完整的目标图像。

这里的话我们首先要注意到，我们全局的Face Hallucination方法的话可能会丢失一些重要的细节信息。我们的局部邻域组成图像的这种方法的话近几年来在人脸幻想Face Hallucination研究中间被人们广泛研究。

Liu等人的话在Chang 和 Xiong的人脸草图合成目标上应用了一种相似的想法，这种想法将图像强度直接作为输入和输出而不是高频特征。他们的实验结果表明，这种非线性方法比Tang等全局线性方法有所改进。

Liu等人的团队利用邻域嵌入方法从低分辨率对应图像中恢复原始高分辨率图像，然后通过探索广义奇异值分解以对于我们的高频信息进行猜想，从而以补偿初始估计的缺失值。他们应用奇异值分解来获得两个投影矩阵，然后，给定一个输入的低分辨率图像补丁，通过解决最小二乘问题合成初始估计，从而在他们以前的工作上面进行了拓展研究。

这里的话Residual image是通过使用先给的方法生成的。Fan等人的话提出来了一种两步的图像幻觉算法，这些方法的话使用了邻域临界嵌入的方法，使用了视觉原始特征。在第一阶段，我们的邻域临界方法同时也被使用在了获得一个初步的假设值。在第二阶段，这里的residual error通过对于residual error在训练阶段进行一个进行一个K-最近邻域的方法进行补偿。这里的话Chen等人团队使用了将这种邻域嵌入的思想应用于可见图像 - 近红外图像合成，其中的话我们以LBP特征为输入。通过他们的人脸识别实验结果，整个系统对于对照明变化情况下的人脸识别情况进行了很大的改进。

这里的话，尽管我们的基于小块的方法能够提供一个更加有细节的，同时因为在所有的训练图像小块中间进行了一个全局搜索，这些小块的搜索是非常耗时的。这个时候，Ma等人的团队提出了一种基于位置的人脸幻想FH方法，这种方法借用了邻域嵌入的思想。在我们将所有图像划分为块之后，通过将邻域嵌入方法应用在位于与测试块相同位置的那些训练图像块来估计给定输入低分辨率图像块的对应高分辨率小块。作者还将基于位置的FH方法应用于多视图FH，其中通过利用类似于邻域嵌入的方法在幻觉之前进行多视图面部合成过程。

他们进一步研究了残留补偿是否是人脸幻想FH的必要步骤，并宣称如果FH算法没有采用PCA或LPP等降维方法导致非特征信息丢失，那么它们就不是不可缺少的。Liang等人的团队也使用类似于邻域嵌入的方法来补偿从图像分解角度获得的我们想要的高分辨率图像。

为了进一步提高我们恢复的局部细节的效果，我们使用pixel structure来研究看看能不能在细节上进一步的改进我们的恶本地特征。我们受到LLE的启发，Hu等人的话提出了一种方法，这种方法通过本地的像素结构来对于全局图像进行人脸的超分辨率处理。这里的话我们这个方法假设我们的两个人脸是属于同一个人的，那么的话我们的这两个图片的话就应该有这相同的局部像素结构，这样子的话我们的，诶一个像素结构应该可以通过一个相邻部分的线性组合组成。这里的话他们是以下三种步骤来实现他们的方法的：

1、K个样本人脸是从低分辨率的图像集中获得的，有着和我们的输入最相似的相似度；

2、同时的话我们的K个相关的高分辨率的样本图像通过光流法扭曲到了高分辨率的样本人脸上；

3、这里的话我们目标的高分辨率的人脸图像接着背我们使用一个迭代程序来解决约束最小二乘问题，从而估计高分辨率人脸图像。

这个时候，当我们的PSNR和SSIM和其他的方法相比的话，这种提出来的方法有更大的优越性。

李等人的团队提出：基于学习的超分辨率方法中间，对于低分辨率图像和高分辨率图像都拥有相同的流形表示方法的这种假设的话可能是不成立的，因为在实际上，LR-HR上面的映射关系很有可能是一种非等距一对多的关系。

3.3 讨论

这里的话我们的基于PCA的人脸幻想方法保留了人脸的整体属性，但忽略了用于编码一些局部面部特征的相邻关系。基于流形学习的FH方法通过预先设定某些约束来弥补这种不完美。

LLE假设我们设定的每一个局部块的每个补丁都可以通过其最近邻居的线性组合来重建，并且这种关系在低分辨率图像（照片）和高分辨率图像（草图）中都存在的。

LPP是拉普拉斯特征映射的线性近似（Belkin和Niyogi 2001），它通过构造由边连接的相邻节点的图来保留局部几何形状。

基于LPP的FH方法在进行图片幻觉过程时也会考虑局部面部特征。尽管可以很好地保留基于流形学习的方法的局部邻近关系，但是通过这些方法可能不容易建模面部的全局形状信息。

4 贝叶斯推测和子空间学习框架混合方法

在之前的介绍中，我们主要介绍了两种方法：贝叶斯推理和子空间学习方法。这里的话我们介绍的是一种混合方法，此类方法主要将子空间分析应用于先验模型，或者是通过子空间学习方法以生成初始估计。为了实现这种方法，我们主要使用一个两步的框架。

尽管这个方法是在之前的小姐中有了介绍，但是实际上，它可以被视为贝叶斯推理和子空间学习背景下的代表性方法。在该方法中，Liu的团队首先应用主成分分析以获得初始全局面部图像，并且随后利用MAP-MRF来计算局部面部图像。

Liu的团队就使用一个两步走的方法来进行从输入草图中进行图片的合成。第一步过程中，他们使用了一种和他们2005年相似的方法，使用LLE-based来生成一个初始化的假设。接着，通过利用所提出的张量模型，其模式由人物身份，斑块位置，斑块样式（草图或照片）和斑块特征组成，在贝叶斯MAP框架下推断出高频残差，假设草图 - 照片补丁对共享相同的张量表示参数。通过添加这两个部分，可以从输入草图合成具有更详细信息的照片。

Zhang和Cham（2008,2011）在MAP框架下提出了DCT域中的FSR方法。在该方法中，高频DCT系数由于只有很少的能量而被丢弃。DC系数通过基于插值的方法计算，而AC系数通过其相应的K个最近邻居在简化的MRF模型下探索LLE的概念来估计，该MRF模型假设在相邻的AC系数之间不存在依赖关系。在执行DCT之前，在本地逐块地执行预过滤程序，并且在应用IDCT之后执行下一步的程序。

与许多基于LLE的方法不同，假设低分辨率补丁和高分辨率补丁具有相同的重建权重或系数。Park和Savvides提出了一种基于LPP的FSR方法，它通过贝叶斯MAP准则从输入的低分辨率图像块推断出每个高分辨率贴片的LPP投影系数。与从高分辨率图像块的训练中学习的LPP投影矩阵一起，可以从它们的线性组合合成高分辨率图像块; 因此，可以从所获得的贴片融合最终的高分辨率图像。

在Park和Savvides的投影系数程序（Park and Savvides 2007）的基础上，后面的研究团队又提出了几种类似的方法。Kumar和Aravind（2008b）提出了使用orthogonal locality preserving pro- jections （OLPP）和kernel ridge regression（KRR）的两步法。OLPP是用来估计每个高分辨率图像块的系数的，而KRR用于估计补偿残余误差所需的高频率。Kumar和Aravind（2008a）也提出了类似的想法，结合2D-PCA和KRR幻觉输入低分辨率图像，其中2D-PCA被探索用于估计2D-PCA投影特征（高分辨率图像和KRR的系数）用来估计残留图像。

这里的话还有一些工作：这些工作研究了在多帧或视频序列FSR中应用的学习方法的过程。Capel和Zisserman（2001）提出了一种FSR方法，该方法可以通过将解决方案约束到受限子空间或通过定义先前的子空间分析来实现，这两种方法的话两个子空间都由PCA部分进行组成。一个图像被分成四个部分：眼睛（一对），鼻子，嘴巴和脸颊（两部分）。这里的话有一些PCA组成部分是被分开来训练的，

通过限制在PCA子空间上进行求解从而获得最大似然（ML）估计，并通过在主要组件的系数上添加先前定义的扩展该ML估计器来产生MAP估计器。Another MAP estimator is formed by encouraging the estimated image to lie near to the PCA subspace as a prior. Chakrabarti等人的团队同样的也在多帧人脸图像超分辨率方法上使用了PCA内核，同时的话也引入了一种Gibbs函数形式作为鲜艳。这里的话能量函数反映的是我们的高分辨率图像在principal subspace以外的能量。这里的话这个公式可以被改写成一个高分辨率图像在其对应的principal subspace上面的最小平方距离的形式。这里的话我们的高分辨率图像可以使用gradient-descent的方法来解决一个constrained least squares problem。

这里的话我们可以考虑到人脸图像超分辨率的一个应用是在人脸识别任务上。这里的话，我们的降维的思想是经常在state-of-the-art的人脸识别系统上使用。Gunturk等人提出来了一种eigenface-domain上面的超分辨率方法，这里的话这个方法是对于视频流进行的人脸识别。这个领域的话，FSR通常被视为基于FSR的通用识别系统的预处理程序。然而，在他们提出的方法中，他们首先通过PCA从连续的低分辨率图像中提取特征向量，然后通过在MAP框架下探索脸部图像的特征进行分析来估计相应的高分辨率图像的特征向量。这样子获得的特征向量可以用于面部识别和高分辨率图像重建。在通过从高分辨率训练图像计算的PCA投影矩阵对特征向量进行多重处理之后，获得超分辨面部图像。该方法具有降低计算复杂度的优点，但是具有较差的视觉质量。

我们上述提到的大部分的方法都是都是用作于正面的人脸超分辨率或者是人脸-草图合成工作。这里的话，我们就无法使用一些我们可以知道的姿势或者视图变化的信息。Li和Lin等人的话接着提出来了一种加入了不同姿势信息的人脸超分辨率方法。这种方法中，他们首先使用了一个SVM分类器来对于我们的输入低分辨率的人脸图像进行了一个pose label的估计。接着我们的frontal的低分辨率的人脸图像通过解决一个最小平方问题来进行了预测。这里的话有相同的pose label的相关训练图像的话是被放在一起进行处理的。接着他们使用了Gunturk在2003年提出的人脸幻想的方法来进行高分辨率图像的幻想。这里的话，和Gunturk等人团队的方法类似的事：Jia和Gong等人的话提出了一种多视角、多照明度条件下的tensor face based的FSR方法。这里的话，我们的tensor是由4种模式组成的：identities，views，illuminations和pixels。该方法从低分辨率空间的相应identity parameter vector导出用于在高分辨率张量空间中重建identity parameter vector的模型。

通过在Gunturk等人的工作中替代PCA，从而在最大似然估计框架下进行ternsor analysis，然后通过计算identity parameter，同时的话也进行了人脸识别和人脸超分辨率工作。这里的话我们的tensor model扩展到了MAP框架下的面部表情超分辨率幻觉。

在给定低分辨率图像的情况下，该方法可以使具有不同表达的几个高分辨率图像产生幻觉。Tensor由身份，表达，分辨率，补丁（补丁位置）和像素模式组成。图像被分解为两部分：低频和中频信息部分以及高频信息部分，这导致MAP目标函数通过两步顺序解决方案求解。

在第一步中，通过求解最小二乘问题来评估低频和中频信息。然后通过在第二步中利用非参数补丁学习过程来补偿高频信息。结合这两个部分，计算具有一些表达式的目标高分辨率图像。