2010 JMLR

0 摘要

使用凸松弛技术为大规模矩阵完成问题提供一系列正则化低秩解决方案。

论文算法 SOFT-IMPUTE 迭代地用从软阈值 SVD 获得的元素替换缺失的元素。通过热启动，这使算法能够有效地计算正则化参数值网格上解决方案的整个正则化路径。

1 introduction

$X_{m \times n}$ 表示观测矩阵，最早的矩阵补全问题的优化目标函数为：

δ表示训练误差的容忍程度（一个正则项参数）

由于rank(Z)非凸，所以后续文献对(1)进行了一定的修改

这里||Z||*表示核范数（是Z的奇异值的和）

用拉格朗日算子表达（3），有：

在本文中，我们为核范数正则化最小二乘问题 (3) 提出了一种SOFT-IMPUTE算法，该算法可扩展到 m,n ≈ $10^5-10^6$ 的大型问题，其中观察到的条目约为 $10^6-10^8$ 或更多。在每次迭代中，SOFT-IMPUTE 将目标函数的值降低.

2 相关工作

最早期矩阵补全问题的目标函数为

也即相当于（1）中δ=0。但是这种评判标准太过于严苛，同时会导致一定的过拟合，于是便有了（1）中的目标函数

在本文中，我们提供了一种 SOFT-IMPUTE算法，用于基于热重启的方式计算 (3) 的优化目标函数。

该算法的灵感来自 SVD-IMPUTE迭代算法，它使用“ 完整的”数据矩阵，在当前 SVD中补全缺失值。

这种迭代算法要求在每次迭代时计算密集矩阵（维度等于矩阵 X 的大小）的 SVD。这是这种迭代算法的瓶颈所在：无法进行大规模计算。

本篇论文的算法 SOFT-IMPUTE 也需要在每次迭代时进行 SVD 计算，但SOFT-IMPUTE 通过利用问题结构，可以轻松处理非常大维度的矩阵。

在每次迭代中，非稀疏矩阵具有以下结构：

其中Ysp具有和观测矩阵X一样的稀疏结构， $Y_{LR}$ 有一个远小于观测矩阵X 维度m和n的秩r' （算法收敛时，r'很接近于预测矩阵Z的秩）

另一种使用协同过滤的方法使用矩阵分解，他被称为MMMF（maximum margin matrix factorization methods）

事实证明，（6）与（3）密切相关。如果Z的秩 r′ = min(m,n)，则 (6) 的解与 (3) 的解一致。2 然而，(6) 在其自变量中不是凸的，而 (3) 是

3 SOFT-IMPUTE

3.1 符号说明

投影函数

如果有观测值的地方就是Yij，没有观测值的地方就是0

——> $\sum_{(i,j) \in Q }(X_{ij}-Z_{ij})^2$ 可以写成 $||P_\Omega(X)-P_\Omega(Z)||^2_F$

互补投影

（Y有观测值的部分，Y没有观测值的部分）

3.2 核范数正则化

我们提出了以下引理，它构成了我们算法的基本要素。

假设矩阵 $W_{m \times n}$ 的秩是r，

那么

结果可以由得到

UDV'是W的SVD分解

d1,....,dr是D的对角元素

t+=max(t,0)

Sλ表示 soft-thresholding

使用3.1的表示，我们可以改写（8）为

3.3 算法

我们现在提出 SOFT-IMPUTE算法 —— 用于计算 (10) 的一系列解决方案，用于使用暖启动的不同 λ 值。

每过一段时间，λ缩小一点，这样也能越来越精细

如何理解前面的(5)呢

3.4 和MMMF的关联

论文的附录部分证明了一个引理

所以

4 收敛性分析

暂略

5 计算复杂度

暂略

6 从软阈值到硬阈值

我们认为，在许多问题中，ℓ1 正则化也可以提供更好的预测精度。（软阈值）

但是，如果观测模型非常稀疏，则具有均匀收缩的 LASSO范数（L1正则化）既会高估模型中非零系数的数量，也会过度收缩（偏向）包括向零的系数

所以论文又提出了硬阈值的方法

这里 $\gamma_j(Z)$ 表示Z的第j个奇异值

我们用矩阵的形式表示，可以写成

这里

和软阈值时候类似，也可以用一个SVD 来解决上述优化问题

对于每个特定的λ，有相应的q=q(λ)个奇异值被保留

6.1 硬阈值算法

和软阈值类似，也是一个迭代算法

这也就是这里提到的迭代算法

推荐系统笔记：基于SVD的协同过滤_UQI-LIUWJ的博客-CSDN博客_基于svd的协同过滤

论文笔记 Spectral Regularization Algorithms for Learning Large IncompleteMatrices （soft-impute）相关推荐

【论文笔记】PassGAN: A Deep Learning Approach for Password Guessing
title: "[论文笔记]PassGAN: A Deep Learning Approach for Password Guessing" date: 2019-10-12 la ...
论文笔记（十一）：Learning to Track with Object Permanence
Learning to Track with Object Permanence 文章概括摘要 1. 介绍 2. 相关工作 3. 研究方法 3.1 背景 3.2 用于跟踪的视频级模型 3.3. 学会 ...
【论文笔记】Reinforcement and Imitation Learning for Diverse Visuomotor Skills
目录 Abstract Introduction Related Work Model A. Background: GAIL and PPO 1. 行为克隆(Behavior Cloning) 2. ...
论文笔记：联邦学习——Federated Learning: Strategies for Improving Communication Efficiency
Federated Learning: Strategies for Improving Communication Efficiency 文章目录 Federated Learning: Strat ...
论文笔记：联邦学习——Federated Learning: Challenges, Methods, and Future Directions
Federated Learning: Challenges, Methods, and Future Directions 论文链接: link Federated Learning: Challe ...
论文笔记010：[CVPR2019]VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the W
摘要车辆重识别(ReID)对智能交通和公共安全具有重要意义.然而,在现实场景中,许多具有挑战性的问题尚未得到充分的研究,如高视点变化.极端光照条件.复杂的背景和不同的相机源.引出问题\color{r ...
【论文笔记｜深读】struc2vec: Learning Node Representations from Structural Identity
目录前言 ABSTRACT 1. INTRODUCTION 2. RELATED WORK 3. STRUC2VEC 3.1 Measuring structural similarity 3.2 ...
论文笔记：Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic
2016 nips 1 abstract & introduction 在反馈稀疏的环境中学习目标导向的行为是强化学习算法面临的主要挑战.主要困难之一是探索不足,导致智能体无法学习稳健的策略. ...
论文笔记之： Deep Metric Learning via Lifted Structured Feature Embedding
Deep Metric Learning via Lifted Structured Feature Embedding CVPR 2016 摘要:本文提出一种距离度量的方法,充分的发挥 traini ...

论文笔记 Spectral Regularization Algorithms for Learning Large IncompleteMatrices （soft-impute）