Self-paced and auto-weighted multi-view clustering 阅读笔记

L21-norm

$l_{2,1} = \sum_{i=1}^{n} (\sqrt {\sum_{j=1}^{m} (X_{ij}^{2}} ))$

其中i表示行，j表示列，L21范数计算矩阵每一行L2范数的和，对应行稀疏。

非负矩阵分解NMF

X是数据集， $X \in R^{n \times d}$ ，n个数据点，每个为d维，k为聚类数。 $G = [g_1, \cdot \cdot \cdot, g_n]^{T} \in R^{n \times k}$ 表示类别分配矩阵， $F \in R^{d \times k}$ 表示聚类中心矩阵，每一列表示一个聚类中心的特征。

multi-view NMF

m表示视图， $X^{(m)}, F^{(m)}$ 表示该视图下的对应变量，不同视图下G相同

SPMVC

$\mathbf{\lambda}=[\lambda ^{(1)}, \cdot \cdot \cdot ,\lambda^{(M)}]$ 表示不同视图的SPL惩罚权重， $\mathbf{V}=[V^{(1)}, \cdot \cdot \cdot ,V^{(M)}]$ 表式不同视图下样本的权重，其中 $V^{(m)} = [v_{1}^{(m)},\cdot \cdot \cdot, v_{n}^{(m)}]^{T}$ 表示样本的权重向量。

$\eta ^{(m)}$ 表示视图的权重，视图重要性参数 $\gamma$ 需要指定。

样本重要性

以硬权重策略说明，只有loss小于 $\mathbf{\lambda}$ 的样本才被加入训练

视图重要性

采用自动权重的方法计算 $\eta^{(m)}$

首先给出自动权重时的目标函数：

写出其拉格朗日函数：

对拉格朗日函数式（7）对G求导得：

如果固定 $\eta^{(m)}$ ，把式（9）代入式（6），则变成求解如下问题

之所以这样做是因为如果对式（10）的拉格朗日函数对G求导，同样可以得到式（8），即可认为问题式（6）和式（10）对应的G的解一致。因此可以按照式（9），利用G和F更新 $\eta^{(m)}$ 。如果视图m能达到一个好的聚类，则式（10）中的L21范数应该较小，根据式（9）L21范数小则 $\eta^{(m)}$ 较大。

模型优化

更新两部分参数：模型参数 $G \ and \ F^{(m)}$ ，权重向量V

更新权重向量V

其中 $l_{i}^{(m)}$ 表示视图m下Xi的重建损失，若Xi靠近聚类中心则损失较小，即：

硬权重和软权重两种方式

更新G和F

固定V，求解G和F。由于V固定，对于式（10）可以写作如下形式：

取 $d_{i}^{(m)}$ 如下表达式：

则式（16）可以写成如下形式：

其中 $d_{i}^{(m)}$ 表示对角阵 $D^{(m)}$ 的第i个对角元，即 $D_{ii}^{(m)}=d_{i}^{m}$ 。

其中 $\widetilde{d}_{i}^{(m)}=\eta ^{(m)} d_{i}^{(m)}$ ， $\widetilde{D}^{(m)}=\eta ^{(m)} D^{(m)}$

先固定G，求解 $F^{(m)}$

根据式（18），先固定G，求解 $F^{(m)}$ ，即对 $F^{(m)}$ 求导，令导数为0则：

先固定 $F^{(m)}$ ，求解G

根据式（18）得：

也就是说，对于数据点i，需要求解如下问题：

其中 $\boldsymbol{g}_{i} = [g_{i1}, \cdot \cdot \cdot, g_{ik}] \in \mathbb{R}^{K \times 1}$ ，由于只有一个元素为1，所以g有K种解，进行遍历求解。下式中 $\boldsymbol{u}_{j}$ 是单位阵得第j列。