图像是有一些基的线性组合形成。自然图像是个稀疏结构，即任何给定图像都可以用大数据里面的少数几个描述符（基）来表示。寻找使得每个系数的概率分布是单模态并且在0处是峰分布的低熵（low-entropy）方法。

稀疏表示

https://www.cnblogs.com/yifdu25/p/8128028.html
http://www.360doc.com/content/14/0603/11/10724725_383221152.shtml
http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/

稀疏编码

1988年，神经稀疏编码的概念由Mitchison提出，由牛津大学的Rolls等正式引用。灵长目动物颚叶视觉皮层和猫视觉皮层的电生理实验报告和一些相关模型的研究结果都说明了视觉皮层复杂刺激的表达是采用稀疏编码原则的。研究表明：初级视觉皮层V1区第四层有5000万个（相当于基函数），而负责视觉感知的视网膜和外侧膝状体的神经细胞只有100万个左右（理解为输出神经元）。说明稀疏编码是神经信息群体分布式表达的一种有效策略。1996年，加州大学伯克利分校的Olshausen等在Nature杂志发表论文指出：自然图像经过稀疏编码后得到的基函数类似V1区简单细胞感受野的反应特性（空间局部性、空间方向性、信息选择性）。

模型

X = AS
式中，X 表示输入图像，表示为多个基函数的线性组合，A 为基函数组成的矩阵，S 为线性组合时基函数的权值向量

稀疏编码模型可以解释为，人的视觉感知系统将输入图像刺激 X 通过感受野 A 的特征提取，将其表
示为视觉细胞的活动状态 S。S 即为输入图像的稀疏编码。

优化准则

I( x，y) 表示输入图像 X 中的像素值，，ϕi(x，y)\phi_i( x，y)ϕi(x，y) 为基函数矩阵 A 中的第 i 个列向量，aia_iai为向量 S 的第 i 个响应值。
第 1 项用原始图像与重构图像之间的误差平方和表示重构图像的信息保持度，第 2 项反映了编码的稀疏程度

典型的sparse coding的过程分为训练和测试。

Training：给定一些训练样本（training samples）[ x1, x2, …, xm(in Rd)]，学习一本字典的基（bases）[Φ1,Φ2……(also in Rd)]。可是用k-means等无监督的方法，也可以用优化的方法（这时training完了同时也得到了这些training samples的codes，这是一个LASSO和QP问题的循环迭代）；

Coding：用优化的方法求解测试样本的codes（此时字典已经学得）
https://blog.csdn.net/jwh_bupt/article/details/9625469

稀疏编码(Sparse Coding)相关推荐

稀疏编码(Sparse Coding)（二）
为了更进一步的清晰理解大脑皮层对信号编码的工作机制(策略),需要把他们转成数学语言,因为数学语言作为一种严谨的语言,可以利用它推导出期望和要寻找的程式.本节就使用概率推理(bayes views)的方 ...
Sparsity稀疏编码（三）
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别上两个小结介绍了稀疏编码的生命科学解释,也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了,今天 ...
Stanford UFLDL教程稀疏编码自编码表达
稀疏编码自编码表达 Contents [hide] 1稀疏编码 2拓扑稀疏编码 3稀疏编码实践 3.1将样本分批为"迷你块" 3.2良好的s初始值 3.3可运行算法 4中英文对照 ...
Stanford UFLDL教程稀疏编码
稀疏编码 Contents [hide] 1稀疏编码 2概率解释 [基于1996年Olshausen与Field的理论] 3学习算法 4中英文对照 5中文译者稀疏编码稀疏编码算法是一种无监督学习方 ...
Sparse coding（稀疏编码）
转自:http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html 本节将简单介绍下sparse coding(稀疏编码),因为 ...
深度学习基础（九）—— 稀疏编码（sparse coding）
稀疏编码算法是一种无监督学习方法,它用来寻找一组"超完备"基向量来更高效地表示样本数据.稀疏编码算法的目的就是找到一组基向量 (自然图像的小波基?) ϕi \mathbf{\phi ...
Sparse Coding 稀疏编码
稀疏编码是无监督学习的一种,它学习一组超完备基的集合用以高效地表示数据,即 x=∑i=1kaiϕi \begin{align} \mathbf{x} = \sum_{i=1}^k a_i \mathb ...
【sparse coding】【转】sparse coding稀疏表达论文列表
http://www.sigvc.org/bbs/thread-57-1-1.html 1 What is the Goal of Sensory Coding: 介绍了两种sensory cod ...
【转】K-SVD简述——字典学习，稀疏编码
原帖地址http://www.cnblogs.com/CBDoctor/archive/2011/10/24/2222358.html K-SVD Rachel Zhang 1. k-SVD intr ...
深度学习笔记9 Sparse coding
转载:http://blog.csdn.net/zouxy09/article/details/8777094/ 如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即O = a1*Φ ...

稀疏编码(Sparse Coding)

稀疏表示

稀疏编码

模型

优化准则

稀疏编码(Sparse Coding)相关推荐

最新文章

热门文章