视频识别算法：慢特征分析算法

Github-blog
CSDN-blog

原理简介

在动作视频中，运动区域像素发生剧烈的变化，但是在完成一套动作前，其动作代表的含义是不变的，即其视频表达的高层语义未发生变化。慢特征分析算法，通过剧烈变化的像素寻找其内含的高层语义信息，计算相应的特征来表征其高层语义信息，用以识别。视频中的动作识别大致可分为视频预处理、特征兴趣点提取、输入视频信息整理、慢特征分析、特征描述、特征分类。本文主要解析其中核心算法慢特征分析部分。

算法数学推导过程

将I维输入信号记作：X(t)= [x₁(t), x₂(t), …, x_i(t)]^T，其中t属于(t0 , t1)。慢特征分析算法的目的是要寻找一组映射函数：G(x)=[g₁(x), g₂(x) , … , g_j(x)]，使得输出信号：`Y(t) = [ y₁(t), y₂(t), … , y_j(t)]^T在时间维度上缓慢变化。其中：y_j(t) = g_j(x(t))。其中g₁(x) , g₂(x) , …. ,g_j(x)即为所求的慢特征函数。

慢特征分析算法的核心就是寻找一组映射函数使得输入信号经过变换后得到的输出信号变化缓慢。输出信号变化缓慢用数学公式表达即为：Δ_j = Δ(y_j) = < y(。)_j²> t 最小，其中 j属于{ 1，…，J}。（注：“y(。)”表示“y”的一阶导数点应该在y上方的==下同理，“_t”表示y在t时刻的瞬时平均值。）确定这一目标表达式后，为该表达式添加约束条件：

< y₁ >_t = 0 ；（1）

< y_j²>_t = 1 ；（2）

对于任意j’ < j : < y_j’ y_j > t=0 ；（3）

约束条件（1）的作用是方便满足约束条件（2）和约束条件（3）的要求；约束条件（2）的作用是保证输出信号携带有用信息，避免一些简单的解决方案使得输出信号变成常数；约束条件（3）表示去相关，输出信号的每一维y_j都表示信号中不同类型的信息，同时，约束条件（3）也使得输出信号中y₁是变化最缓慢的，y₂的变化缓慢的程度其次，y₃更次之，依次类推。

如果映射函数是线性的，即g_j(x) = w_j^Tx ,其中x是输入信号，w_j是其相应的加权值。那么SFA映射函数的求解问题可以等同于广义特征值的求解问题：

AW = BWΛ

其中，A = < x(。)x(。)^T>_t表示输入信号在时间维度上一阶导数协方差的统计平均，B=< xx^T>t 表示输入信号协方差的统计平均。Λ是广义特征值组成的对角矩阵，W是广义特征向量组成的矩阵。其推导过程可为：

< Y(。)²> = <(w_j^Tx(。))2> = < wjTx(。)x(。)^Tw_j>= < w_j^TAW>

= < w_j^TXX^Tw_j>=< w_j^TBW>

而< Y(。)²>t=Λ= < Y²>tΛ, 所以 AW = BWΛ

此外，慢特征函数是由特征值Λ决定的，即特征值越小，对应的慢特征函数求得的输出函数变化越慢。

对于非线性的变换，可以认为是在非线性空间中的线性变换。非线性变换函数h(x)可以定义为： h(x)=[h₁(x), … ,h_M(x)].

例如：h(x)= [x₁², x₁x₂ , x₁x₃, ₂² , x₂x₃, x₃², x₁, x₂, x₃] 可以认为是对三维输入信号：x = [ x₁, x₂, x₃] 的二次非线性扩展。因此，慢特征分析可以在非线性空间求解，从而获得非线性的慢特征映射函数。

简而言之，慢特征函数的获取大体可分为以下两个步骤：

1、非线性扩展：

应用非线性函数h(x)对原始输入信号进行非线性扩展，并是h(x)聚拢：z := h(x) – h0，其中：h0 = < h(x)>_t。这一操作的目的是使约束条件（1）得到满足。在本文中，我们使用的非线性扩展函数是：h(x)=[x₁, … , x_i, x₁x₁, … , x_ix_i]。

2、解决广义特征值问题： AW= BWΛ

其中 A := < z(。)z(。)^T>t, B = < zz^T>t 假设矩阵A 和矩阵B 是M维矩阵，对应于最小的前K个特征值 λ₁ ≤λ₂ ≤ … ≤λ_k 的K个特征向量：w₁, w₂, … , w_K 即为所要求的非线性的慢特征函数： g₁(x), g₂(x), …g_K(x):

g_j(x) = w_j^T(h(x) – h(0))，

这些g(x) 就可以同时满足约束条件(1)、(2)、(3)以及使得目标表达式最小。

主要参考文献：Zhang Zhang and Dacheng Tao，Slow Feature Analysis for Human Action Recognition，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE，2012，VOL. 34, NO. 3，page：436-450

以上～