神经网络中的稀疏编码和自动编码了解一下

2024-06-06 11:40:43

AutoEncoder自动编码器

Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素，就像PCA那样，找到可以代表原信息的主要成分。

Sparse Coding稀疏编码

稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量ϕiϕi \mathbf{\phi}_i ，使得我们能将输入向量xx \mathbf{x} 表示为这些基向量的线性组合：

x=∑i=1kaiϕi(9)(9)x=∑i=1kaiϕi

\begin{align} \mathbf{x} = \sum_{i=1}^k a_i \mathbf{\phi}_{i} \end{align}

虽然形如主成分分析技术（PCA）能使我们方便地找到一组“完备”基向量，但是这里我们想要做的是找到一组“超完备”基向量来表示输入向量 x∈Rnx∈Rn\mathbf{x}\in\mathbb{R}^n （也就是说，k > n）。超完备基的好处是它们能更有效地找出隐含在输入数据内部的结构与模式。然而，对于超完备基来说，系数 ai 不再由输入向量 \mathbf{x} 唯一确定。因此，在稀疏编码算法中，我们另加了一个评判标准“稀疏性”来解决因超完备而导致的退化（degeneracy）问题。

这里，我们把“稀疏性”定义为：只有很少的几个非零元素或只有很少的几个远大于零的元素。要求系数 ai 是稀疏的意思就是说：对于一组输入向量，我们只想有尽可能少的几个系数远大于零。选择使用具有稀疏性的分量来表示我们的输入数据是有原因的，因为绝大多数的感官数据，比如自然图像，可以被表示成少量基本元素的叠加，在图像中这些基本元素可以是面或者线。同时，比如与初级视觉皮层的类比过程也因此得到了提升。

具体实现思路请参考

https://blog.csdn.net/zouxy09/article/details/8777094
http://deeplearning.stanford.edu/wiki/index.php/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81

神经网络中的稀疏编码和自动编码了解一下相关推荐

Exploring the Regularity of Sparse Structure in Convolutional Neural Networks（在卷积神经网络中探索稀疏结构的规律性）
作者提出基于论文Learning both weights and connections for efficient neural network修剪的方法在保留精度以及实现更高的压缩率方面确实很 ...
深度学习系列（四）：什么是稀疏编码
上节使用简单方法阐述了自编码问题与简单操作,本节将正式开始探索深度学习的相关问题,第一个问题就是稀疏编码. 关于稀疏编码需要理解的几点: (1)什么是稀疏编码? (2)为什么要稀疏编码? (3)稀疏编 ...
Stanford UFLDL教程稀疏编码
稀疏编码 Contents [hide] 1稀疏编码 2概率解释 [基于1996年Olshausen与Field的理论] 3学习算法 4中英文对照 5中文译者稀疏编码稀疏编码算法是一种无监督学习方 ...
为什么需要稀疏编码及解释
参考:(1) UFLDL (2) Why sparse coding works 稀疏编码算法是一种无监督学习方法,它用来寻找一组"超完备"基向量来更高效地表示样本数据.稀疏编码算 ...
无监督学习︱GAN 在 NLP 中遇到瓶颈+稀疏编码自学习+对偶学习
深度学习训练一个模型需要很多的人工标注的数据.例如在图象识别里面,经常我们可能需要上百万的人工标注的数据,在语音识别里面,我们可能需要成千上万小时的人工标注的数据,机器翻译更是需要数千万的双语句对做训 ...
DeepMind发布最新《神经网络中持续学习》综述论文！
来源:AI科技评论本文约3200字,建议阅读6分钟本文重点介绍一些神经网络中最有前途和最有影响力的方向. 在过去的几十年中,人工智能研究取得了巨大进展,但是它主要依赖于固定的数据集和固定的环境. ...
147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:机器之心 AI博士笔记系列推荐周志华<机器学习>手 ...
稀疏编码（sparsecode）简单理解
Sparse coding: 本节将简单介绍下sparse coding(稀疏编码),因为sparse coding也是deep learning中一个重要的分支,同样能够提取出数据集很好的特征.本文 ...
Tensor (张量) - 神经网络中的数据结构
Tensor (张量) - 神经网络中的数据结构 Tensor - Data Representation in Neural Networks Tensors are the fundamental ...
数据矿工学习-样本自适应的在线卷积稀疏编码论文-个人中文翻译
论文地址 : https://arxiv.org/abs/1804.10366 文中的数学公式符号并不能很好的显示,采用普通字母代替,故带有一定的误差,建议数学公式的推导还是回归论文查看. 简介卷积 ...

最新文章

热门文章