稀疏编码(Sparse Coding)（二）
为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），需要把他们转成数学语言，因为数学语言作为一种严谨的语言，可以利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，因为人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基可以描述他们，同类型的处理方式也有慢特征分析(slow features analysis)。废话不多说了，进入正题：
我们把图像流（图像序列）
看成时空基函数的线性组合再加上一些噪声,当然时空基函数可以想象成是时空不变的，类似于行为识别里的3D-SIFT，这点貌似又和慢特征分析扯上关系咯。同样时空基函数仍然有一些系数，用表示，则图像流则可以看成时空基和系数的卷积加上一些噪声，其模型如(公式一)所示：
（公式一）
整个模型可以形象的用（图一）展示，注意系数是一种单峰类似刺突的东东哦，（图一）上：
（图一）
当然对于（图一）中的时空基函数应尽可能的稀疏，便于减少运算量，不然对图像序列的运算量太大了。对于模型的参数求解，先假设系数独立且满足稀疏，bruno基于这些假设，给出了系数的先验公式，如（公式二）所示：
（公式二）
因为系数之间独立，所以他们的联合分布分解成单个分布的乘积形式，而且每个系数满足稀疏假设，S是个非凸函数控制着系数alpha的稀疏。有了这些先验知识，给定图像序列后的系数alpha的后验概率如（公式三）所示：
（公式三）
通过最大化此后验概率，然后利用其梯度下降法求解，求的系数alpha,全部求解步骤如（公式四）所示：
（公式四）
公式尽管这么多，但扔不足以说明求解系数的详细步骤，因为（公式三）的后两项仍然不清楚，再次对这二项再做个假设，如（公式五）所示：
（公式五）
尽管做了如此假设，但是P(I|alpha,theta)仍然不能直接计算，需要对此项采样方能完成，这个地方是需要改进的地方，尽管如此，我们还是硬着头皮把学习基函数步骤一并贴出来，为后续改进打下铺垫。学习过程如（图二）所示：
（图二）
系数alpha通过梯度下降完成，基函数更新则通过Hebbian learning学习完成，Hebbian(海扁,又译赫布)学习就是加强同时激活的细胞之间的连接（"Cells that firetogether, wire together."），这点可以稍微解释了“读书百遍”背后的大脑皮层可塑的工作机制。学习到的基函数如（图三）所示：
（图三）
好咯，稀疏编码的生命科学的解释到此就差不多了，可以看到思想不错，但是手工假设的太多，学习方法也不友好，随着代数学以及LASSO的引入，稀疏码逐渐开始成熟，并开始走上应用的道路，到了DeepLearning时代，手工成分也越来越少，威力貌似也越来越大。（好吧，我承认这节写的很恶心
，但是这节最大的亮点就是在空时域上编码，这对行为识别、语言识别啥的都有些帮助哦）
参考文献：
Probabilistic Models of the Brain: Perception and Neural Function. MIT Press
转载请注明链接：http://blog.csdn.net/cuoqu/article/details/8989233
稀疏编码(Sparse Coding)（二）相关推荐
- Sparsity稀疏编码（三）
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别 上两个小结介绍了稀疏编码的生命科学解释,也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了,今天 ...
- Stanford UFLDL教程 稀疏编码
稀疏编码 Contents [hide] 1稀疏编码 2概率解释 [基于1996年Olshausen与Field的理论] 3学习算法 4中英文对照 5中文译者 稀疏编码 稀疏编码算法是一种无监督学习方 ...
- Stanford UFLDL教程 稀疏编码自编码表达
稀疏编码自编码表达 Contents [hide] 1稀疏编码 2拓扑稀疏编码 3稀疏编码实践 3.1将样本分批为"迷你块" 3.2良好的s初始值 3.3可运行算法 4中英文对照 ...
- Sparse coding（稀疏编码）
转自:http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html 本节将简单介绍下sparse coding(稀疏编码),因为 ...
- 深度学习基础（九）—— 稀疏编码（sparse coding）
稀疏编码算法是一种无监督学习方法,它用来寻找一组"超完备"基向量来更高效地表示样本数据.稀疏编码算法的目的就是找到一组基向量 (自然图像的小波基?) ϕi \mathbf{\phi ...
- Sparse Coding 稀疏编码
稀疏编码是无监督学习的一种,它学习一组超完备基的集合用以高效地表示数据,即 x=∑i=1kaiϕi \begin{align} \mathbf{x} = \sum_{i=1}^k a_i \mathb ...
- 【sparse coding】【转】sparse coding稀疏表达论文列表
http://www.sigvc.org/bbs/thread-57-1-1.html 1 What is the Goal of Sensory Coding: 介绍了两种sensory cod ...
- Sparsity稀疏编码（一）
稀疏编码来源于神经科学,计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起,上来就是找基向量(超完备基),但是我觉得其源头也比较有意思,知道根基的情况下,拓展其应用也比较有底气.哲学.神经科学.计 ...
- sparse coding
稀疏编码系列: (一)----Spatial Pyramid 小结 (二)----图像的稀疏表示--ScSPM和LLC的总结 (三)----理解sparse coding (四)----稀疏模型与结构 ...
最新文章
- Jquery基础：append、prepend、after、before、appendTo的区别
- Problem G: 部分复制字符串
- Jquery ajax提交表单几种方法详解
- perform build_lc_system_stat
- 8.3分叉/结合的框架（Fork/Join Framework）
- python中https请求的封装_python接口自动化9-https请求（SSL）
- 导出(合并)手机QQ浏览器下载的视频
- 小游戏1024纯C语言
- 领导力与团队管理上课笔记--上
- pdf转换成word后有文字叠加_将PDF转换成Word文档后，为什么字体全变了？
- android获取ssid,有关WiFi SSID的获取
- hadoop--环境搭建--域名解析失败
- 技术分享 | DNS解析不生效的原因及解决方法
- 通用样式 -表格的每行的复选框选中打印
- AndroBench手机性能测试【转】
- python里面如何实现元组和列表的转换_python列表和元组相互转换
- cisco设备接口下配置encapsulation dot1q vlan-id的作用
- 计算机科学引论精编版,2021计算机科学引论(英文精编版)
- AD接口测试工装研究
- 关于Max导出插件的七七八八