RBM(受限玻尔兹曼机)和深层信念网络(Deep Brief Network)
目录:
一、RBM
二、Deep Brief Network
三、Deep Autoencoder
一、RBM
1、定义【无监督学习】
RBM记住三个要诀:1)两层结构图,可视层和隐藏层;【没输出层】2)层内无连接,层间全连接;3)二值状态值,前向反馈和逆向传播求权参。定义如下:
一般来说,可见层单元用来描述观察数据的一个方面或一个特征,而隐藏层单元的意义一般来说并不明确,可以看作特征提取层。
比较通俗解释RBM的博客:https://blog.csdn.net/u013631121/article/details/76652647
玻尔兹曼机的模型,它一共有两层:如下图,下边4个圈为可见层【即输入层】,上面3个圈为隐藏层。双向箭头【因为前向传播和后向传播,无监督学习】
前向传播:
- b为偏置,如左上角的圈计算:y1=x1*w11+x2*w21+x3*w31+x4*w41+b1。将y1,y2,y3求出,加上激活函数即可。
- a为偏置。通过算出来的y1,y2,y3再回求一遍x1~x4。为了方便区分,回求的值我们叫做x‘1~x’4。举个例子求x'1,把隐含层3个数据与权值相乘,之后把偏置量a1给加上就完事儿了,公式写作x1=y1*w11+y2*w12+y3*w13+a1。其余3个也按照这个方式求出。
- 求完x‘1~x’4后用x‘1~x’4对隐含层再次求一遍值,得到y'1~y'3三个数。
反向传播:
目标函数:我们要做的就是让我们求得x与x'尽量相等,但是我们通过计算他们的差值,不为0,那怎么办呢,那就是反向传播。
权重计算:x和y的矢量做乘积,x'与y'做乘积,求出z与z'两个矩阵,这两个矩阵shape(x,y),z与z'相减,然后加入到权值里面,例如w11,那么新的w11值就为:w11=w11+alpha*(z11-z'11),alpha为学习速率,其它的权值也是一样计算。
偏置量计算:隐含层偏置量b1更新值为:b1=b1+alpha*(y1-y'1),可视层偏置量a1=a1+alpha*(x1-x'1),其余偏置量同理计算。
前向、后向传播迭代训练直到输入x和训练x'近乎相等。
前向、后向传播的例子解释:区分以下大象和狗的图。
正向更新:给定这些像素,权重应该送出一个更强的信号给大象还是狗?
反向更新:给定大象和狗,我应该送出一个什么样的像素分布?
2、RBM原理:
能量模型:一般认为物体的能量越高越不稳定,能量越低越趋于稳定。比如说,斜坡上的一个箱子,它位于越高的位置,则拥有更高的重力势能。能量模型把箱子停在哪个位置定义为一种状态,每个状态对应着一个能量。这个能量由能量函数来定义,箱子位于某个位置(某个位置)的概率。比如箱子位于斜坡1/2高度上的概率为p,它可以用E表示成p=f(E)。
RBM结构:
这里为了简单描述,假设每个节点的取值为{0,1}。
计算过程:
求解极大似然:梯度上升。参考http://lib.csdn.net/article/deeplearning/59097?knId=1746
二、 Deep Brief Network概念:多个Restricted Boltlzmann Machines
通俗解释:深度信念网络就是指能够通过概率大小学习的神经网络。把RBM堆叠在一块,然后形成一大串连接的RBM,最后在顶端加入一个输出层,就是深度信念神经网络。
如图:
运行图:就是把原始数据输入到最下面的RBM可视层中,然后训练RBM1,训练完成之后把RBM1的隐含层作为RBM2的可视层,继续训练RBM2,接下来把RBM2的隐含层做为RBM3的可视层,直到训练完成为止。
每层的神经元不与本层的其他神经元交流。最后一层通常是分类层(eg,softmax)
除了第一层和最后一层,每层都有两个作用:对于前一层作为隐藏层,作为后一层的输入层。
三、Deep Autoencoders:有两个Deep Brief Network组成
自编码作用:用来降低维度,图像搜索(压缩),数据压缩,信息检索
下图:中间蓝色:相当于学习到的特征向量,左边为自编码,右边为解编码。
每层由RBM组成。
转载于:https://www.cnblogs.com/Lee-yl/p/10111704.html
RBM(受限玻尔兹曼机)和深层信念网络(Deep Brief Network)相关推荐
- 贝叶斯信念网络Bayes Belief network
贝叶斯信念网络Bayes Belief network 文章目录 贝叶斯信念网络Bayes Belief network 1. BBN 2. 两大成分 3. 先验概率 3.1.1 计算患心脏病的概率 ...
- RBM受限玻尔兹曼机的公式推导及代码实现(matlab)
考虑一组具有mmm个样本的数据集X={x(1),-,x(m)}\mathbb{X}=\{x^{(1)},\dots,x^{(m)}\}X={x(1),-,x(m)},独立地由真实数据生成分布pda ...
- 玻尔兹曼机、深度信念网络、编码器等生成模型
受限玻尔兹曼机 -训练方式:对比散度方法(示例代码如下,原博客为https://blog.csdn.net/slx_share/article/details/92072228?ops_request ...
- 受限玻尔兹曼机和深度置信网络
从玻尔兹曼机到深度置信网络 本文仍处于草稿阶段,请慎重观看 引言 受限玻尔兹曼机(Restricted Boltzmann Machines, RBM)最初是在1986年由Paul Smolensky ...
- RBM受限玻尔兹曼机
受限玻尔兹曼机(RBM) 一.RBM的网络结构 RBM的网络结构如下图所示: RBM中包括两层,即: 可见层(visible layer),图上的___v___ 隐藏层(hidden layer),图 ...
- RBM受限玻尔兹曼机的一点理解
RBM是玻尔兹曼机的一种,每一个layer之间的node没有相连. 一个很好的介绍看这里,是一个intuitive的introduction. RBM最重要的一点就是只有两层,两层之间即可以向前传播, ...
- 深度残差网络(Deep Residual Network)ResNet
一说起"深度学习",自然就联想到它非常显著的特点"深.深.深",通过很深层次的网络实现准确率非常高的图像识别.语音识别等能力.因此,我们自然很容易就想到:深的网 ...
- RBM(受限玻尔兹曼机)解析
1.RBM结构 RBM包括隐层.可见层和偏置层.与前馈神经网络不一样,RBM在可见层和隐层间的链接方向不定的(值可以双向传播,隐层->可见层和可见层->隐层)和完全链接的. Boltzma ...
- 深度信念网络Deep Belief Networks资料汇总
毕设做的是DBNs的相关研究,翻过一些资料,在此做个汇总. 可以通过谷歌学术搜索来下载这些论文. Arel, I., Rose, D. C. and K arnowski, T. P. Deep ma ...
- 【theano-windows】学习笔记十六——深度信念网络DBN
前言 前面学习了受限玻尔兹曼机(RBM)的理论和搭建方法, 如果稍微了解过的人, 肯定知道利用RBM可以堆叠构成深度信念网络(deep belief network, DBN)和深度玻尔兹曼机(dee ...
最新文章
- FMDatabase常见的几个操作
- kail linux安装软件提示“无法定位软件包”解决方法
- JAVA学习笔记--初始化与清理
- 【USACO】奶牛抗议 树状数组+dp
- elasticsearch6.2.3 冷热架构设计
- 【剑指offer】面试题63:股票的最大利润(Java)
- 像亲和数一样亲密无间(洛谷P1851题解,Java语言描述)
- opencv 一种灰度图像增强方式
- 灵感库 | 让设计师欲罢不能的设计网站
- WCF,Net remoting,Web service
- 如何使用利用LaTeX制作个人简历
- wordpress 文章php,wordpress怎么发长文章
- 这篇文章写给想学计算机视觉还没开始的人
- Python统计字符串中的中英文字符、数字空格,特殊字符 , 空格的个数
- 导出Excel支持锁定表头
- 对于 Latex CJK 的一些解释
- 一个简单的订单生成器 ---- 20160920
- bugkuCTF之散乱的密文
- ora.eons offline
- GMO宣布聘用高级管理人员Amy Shang来领导公司在大中华区的工作
热门文章
- 微信多开脚本2.0 批处理bat,可一键关闭微信
- 使用css、jquery实现一个云音乐播放器
- CNGI高校驻地网IPv6用户数量排名
- java100内奇数和偶数的和
- tensorflow的交叉熵函数_张量流的代价函数和四个交叉熵函数,与,tensorflow,四种
- tinymce 实现 粘贴图片自动上传
- CocosCreator之KUOKUO带你做刚体移动与物品拾取到背包
- travis不生效,No builds for this repository
- fbreader android源码分析,FBReader 源码阅读笔记(二)
- 局域网服务器时间修改,局域网内建立时间同步