【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）

前言：

{

最近一直在想要不要去线下的英语学习机构学英语（本人的英语口语能力实在是低）。如果我想完成今年的年度计划，那么今年就没时间学英语了。

这次的内容是之前落下的深度置信网络（deep belief network）[1]和其涉及的受限波兹曼机（restricted Boltzmann machine）[2]。不过这次就不看原论文了，而是简单地做一次零散知识的记录。

}

正文：

{

根据[2]中的介绍，一个标准的受限波兹曼机由一层可见层和一层隐藏层组成，其中可见层和隐藏层的值都是布朗（二值）型的。图1是一个受限波兹曼机的结构，其可见层有3个单元，隐藏层有4个单元，没有画出偏置单元。

式（1）是受限波兹曼机的重要内容——能量函数。

以图1的结构为基准，式（1）中i∈[1,3]，j∈[1,4]，a是可见层单元的权值，b是隐藏层单元的权值，v是可见层单元的值，h是隐藏层单元的值，w是权值。由此可见，a，b，v，h或w越大，能量函数就越小。

式（2）是概率函数。

其中 $Z=\sum_{v}^{}$ ，为了归一化。

按照[1]的介绍，深度置信网络可以包括受限波兹曼机。

图2是[3]中的深度置信网络示意图（感觉[1]中的图不是很直观）。

图3中的网络有4个全连接层。网络的训练分为两部分，第一部分是无监督的，即先把输入层和第一隐藏层当作一个受限波兹曼机，训练完成后把第一隐藏层和第二隐藏层当作一个受限波兹曼机以继续训练，直到训练完图3中处之外的所有层；第二部分是有监督的，其实就是把之前训练好的部分当成了特征提取网络，再加一层分类层以进行分类训练。

第一部分的训练公式如式（3）。

其中η应该是学习率。的计算需要两部分，分别是和（在一般情况下是标签数据和模型输出数据）。

和的获得涉及吉布斯采样（Gibbs sampling）[4]，这个内容就先留到下次。

}

结语：

{

我还没有用过这种网络，等到多目标识别搞好了之后可能会尝试一下这种网络。

都是自己的理解，如有错误欢迎指出。

参考资料：

{

[1]https://en.wikipedia.org/wiki/Deep_belief_network

[2]https://en.wikipedia.org/wiki/Restricted_Boltzmann_machine

[3]https://wenku.baidu.com/view/e8ad81550622192e453610661ed9ad51f11d547d.html

[4]https://en.wikipedia.org/wiki/Gibbs_sampling

}

【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）相关推荐

RBM受限波兹曼机在特征学习上的使用
'''受限波兹曼机在特征学习上的使用 ''' import numpy as np import matplotlib.pyplot as plt %matplotlib inline from sk ...
深度学习模型---限制波兹曼机
3.Restricted Boltzmann Machine (RBM)限制波尔兹曼机假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的 ...
Restricted Boltzmann Machine (RBM)限制波尔兹曼机
假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的节点都是随机二值变量节点(只能取0或者1值),同时假设全概率分布p(v,h)满足Bolt ...
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES利用量子波兹曼机进行强化学习
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES 利用量子波兹曼机进行强化学习 Abstract. We investigate whet ...
深度学习 —— 受限玻尔曼机 RBM
能量基础模型(EBM) 能量基础模型为每一个感兴趣的变量设置分配一个标量能量.学习目的是改变能量函数以使它具有期待属性.例如我们希望通过理想或可行的设置获得低能量.能量基础的概率模型定义了能量函数的概 ...
限制波尔兹曼机(Restricted Boltzmann Machines)
限制波尔兹曼机(Restricted Boltzmann Machines) 能量模型的概念从统计力学中得来,它描述着整个系统的某种状态,系统越有序,系统能量波动越小,趋近于平衡状态,系统越无序,能量 ...
受限玻尔兹曼机(Restricted Boltzmann Machine)分析
1.什么是BM? BM是由Hinton和Sejnowski提出的一种随机递归神经网络,可以看做是一种随机生成的Hopfield网络,是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络 ...
matlab lbm 代码,Matlab实现格子玻尔兹曼方法(Lattice Boltzmann Method,LBM)模拟
%LBM的matlab代码 %Matlab实现格子玻尔兹曼方法(Lattice Boltzmann Method,LBM)模拟 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % c ...
tensorflow玻尔兹曼机_受限玻尔兹曼机(Restricted Boltzmann Machine)
受限玻尔兹曼机(Restricted Boltzmann Machine) 1. 生成模型 2. 参数学习 3. 对比散度学习算法由于受限玻尔兹曼机的特殊结构,因此可以使用一种比吉布斯采样更有效的 ...

【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）

【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）相关推荐

最新文章

热门文章