NON-NEGATIVE SPARSE CODING论文部分翻译

非负稀疏编码论文：NON-NEGATIVE SPARSE CODING

X=AS，其中A是混合矩阵，它的列包含分解的基向量（特征），S的行包含相应的隐藏分量，这些分量给出了输入向量中每个基向量的贡献。

在线性稀疏编码中，目标是找到一种分解，其中隐藏的分量是稀疏的，这意味着它们具有概率密度，在零处高度峰值，并且具有重尾。这基本上意味着，任何给定的输入向量都可以很好地表示，只需使用几个显著非零的隐藏系数。结合重建误差小和稀疏性的目标，可以得到以下最小化的目标函数

其中平方矩阵范数只是元素的平方和值，即

这个目标有一个重要的问题：因为f通常是其参数绝对值的严格递增函数（即当且仅当

非负矩阵分解（NMF）由以下目标函数的极小化实现的：

正在上传…重新上传取消（2）

非负约束

正在上传…重新上传取消，在A或者S的目标尺度上没有限制。

非负约束和稀疏目标对于基于部件部分的学习是重要的，因此，把这两个联系在一起形成非负稀疏编码。

定义1：非负稀疏编码（NNSC），X是非负矩阵，A和S均是非负的，要把（3）的值最小化

正在上传…重新上传取消（3）

我们选择测量的稀疏性是根据线性激活惩罚例如

正在上传…重新上传取消，这个特殊的选择主要是因为这使得目标函数在 S 中是二次的。这对于优化隐藏分量 S 的有效算法的开发和收敛证明很有用。

估计隐藏组件

我们将首先考虑优化S，对于给定的基A。由于目标（3）是二次的：关于S，允许的S集是凸的（即

定理1：根据更新规则，目标是非递增的：

正在上传…重新上传取消（4）

其中.*和./分别表示元素的乘法和除法，将标量X加到矩阵ATASt的每一个元素上

由于S的每个元素都是通过简单地乘以一些非负因子来更新的，因此在这个更新规则下，S的元素必须保持非负。只要S的初始值都是严格正的，这个更新规则的迭代在实践中就可以保证达到任何所需精度的全局最小值。

学习基础

在这一部分中，我们考虑在规定的约束条件下，针对基础A和隐藏组件S优化目标（3）。首先，我们只考虑A的优化，保持S不变。

在非负性约束下，关于A的最小化（3）只能使用简单的乘法更新规则来完成。然而，A的单位范数列的约束使事情变得复杂。我们还没有发现任何类似的高效更新规则，可以保证在遵守所需约束的同时降低目标。因此，我们在这里求助于投影梯度下降。每个步骤由三部分组成：

正在上传…重新上传取消

正在上传…重新上传取消中的负值设为0

3 将

正在上传…重新上传取消的每一列重新缩放为单位标准，然后设置为。

该组合步骤包括梯度下降步骤（步骤1），然后投影到满足非负性和单位范数约束的最近点（步骤2和3）如果步长

正在上传…重新上传取消足够小，并且我们还没有达到局部最小值，那么这个投影梯度步长可以保证减少目标移动。（在这种情况下，无法保证在非凸约束下达到全局最小值。）

在上一节中，我们为S提供了一个更新步骤，保持一个固定值。上面，我们展示了如何更新A，保持S不变。为了优化这两方面的目标，我们当然可以轮流更新A和S。这将产生以下算法：

NNSC算法

将A0和S0初始化为适当维数的随机严格正矩阵：并将A0的每列重新计算为单位范数。设置t=0。
迭代直至收敛：

正在上传…重新上传取消
正在上传…重新上传取消中的负值设正在上传…重新上传取消的每一列重新缩放为单位标准，然后设置为。
正在上传…重新上传取消
增加t

这个算法除了与线性稀疏编码和非负矩阵分解紧密相关外，该方法还与独立分量分析密切相关。事实上，当固定范数约束放置在S的行而不是A的列上时，目标（3）可以直接解释为噪声ICA模型中给定数据X的基向量和分量的负联合对数后验。当独立分量被假定为指数分布时，这种联系是有效的，当然，基向量也被假定为非负的。

本文将非负稀疏编码定义为稀疏编码与负矩阵分解的组合。虽然这是一般稀疏编码框架的一个特例，但我们认为，所提出的约束对于从非负数据学习基于零件的表示非常重要。此外，该约束允许一个非常简单但有效的算法来估计隐藏的分量。

NON-NEGATIVE SPARSE CODING论文部分翻译相关推荐

Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - 论文阅读翻译
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - 论文阅读翻译文章目录 Sparse R-CNN: End-t ...
【sparse coding】【转】sparse coding稀疏表达论文列表
http://www.sigvc.org/bbs/thread-57-1-1.html 1 What is the Goal of Sensory Coding: 介绍了两种sensory cod ...
sparse coding
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
理解sparse coding
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
Sparse coding：
本节将简单介绍下sparse coding(稀疏编码),因为sparse coding也是deep learning中一个重要的分支,同样能够提取出数据集很好的特征.本文的内容是参考斯坦福deep l ...
Sparse coding（稀疏编码）
转自:http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html 本节将简单介绍下sparse coding(稀疏编码),因为 ...
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding
论文题目:ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding 作者:Yibo Yang.Hon ...
深度学习笔记9 Sparse coding
转载:http://blog.csdn.net/zouxy09/article/details/8777094/ 如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ ...
英文翻译_科研论文英文翻译时需注意的事项及一些对策
科研论文的英文翻译是以把握全文精髓为目的,准确简单阐明观点,用精炼的语言介绍文章的论点.论据.过程.实验和结果,尽可能让读者通过阅读标题和摘要大致了解整篇文章所阐述的问题和表达的内容.蓝译编译认为,科 ...

NON-NEGATIVE SPARSE CODING论文部分翻译

NON-NEGATIVE SPARSE CODING论文部分翻译相关推荐

最新文章

热门文章