深度波尔茨曼机（DBM）

1.在受限波尔茨曼机（RBM）基础上直接叠加会变成深度信念网络（DBN）

2.深度波尔茨曼机（DBM）是把有向图部分变为无向图的DBN

3.求解DBM采取随机梯度上升法

模型介绍

波尔茨曼机（Boltzmann Machine）是深度学习很重要的一种系列模型。在概率图模型中，我们介绍了受限波尔茨曼机（RBM）的模型表示，之后在深度学习开篇不久给出了其Learning问题的一种解法。

接着我们尝试在RBM基础上做迭加——深度信念网络（DBN），在是贝叶斯网络与马尔科夫网络的混合模型。

传送门：受限波尔茨曼机（RBM）、RBM的Learning问题、深度信念网络（DBN）

今天我们来介绍深度波尔茨曼机，英文是Deep Boltzmann Machine，简称DBM。我们会介绍它的模型表示，以及模型的Learning问题，包括模型预训练和随机梯度解法，其中，随机梯度法适用一般的波尔茨曼机。

深度波尔茨曼机是在受限波尔茨曼机的基础上加入多层，它的概率图模型可以表示如下：

节点的设定与受限波尔茨曼机一致，这里不再赘述。

模型预训练

先来看两个RBM如何做叠加。对于下面两个RBM，v是唯一的观测数据（样本数据），隐变量都是我们假定的：

对于第一个RBM（包含观测变量），其边缘概率分布与权重w1有关：

当我们学习出权重w，对于隐藏层h1，我们利用采样方法得到样本：

根据采样样本作为第二个RBM的数据，学习得到w2，此时隐藏层h1也可以用w2表示：

DBN是一种有向图，根据SBN的算法我们知道，DBN的h1是用w2表示。对于DBM，我们知道：

真实的h1既跟w1有关，也跟w2有关。只用w1或w2表示有失偏颇。我们应该综合两者去表示P(h1)。

总结来说，h1的边缘概率分布应该用如下两个式子综合表达：

采取蒙特卡洛方法近似：

如果直接把两者相加用以表示p(h1)，会造成double counting problem，使得所表达的分布过于sharp(锋利)，偏差很大。

最简单的解决办法是w1与w2取半。但对于第一层和最后一层会有问题，因为它们只有一个方向连接。因此，对上下最顶层复制一份，形成改造后的RBM：

求解DBM采取随机梯度上升法，它通过将目标函数分解为正相与负相（在介绍直面配分函数有介绍）两部分进行求解。这里我们不展开详细介绍。这一点到后面进阶篇介绍波尔茨曼机时候再介绍，因为跟普通的波尔茨曼机差不多。

深度波尔茨曼机（DBM）相关推荐

【深度学习】波尔次曼机,受限波尔兹曼机,DBN详解
神经网络自20世纪50年代发展起来后,因其良好的非线性能力.泛化能力而备受关注.然而,传统的神经网络仍存在一些局限,在上个世纪90年代陷入衰落,主要有以下几个原因: 1.传统的神经网络一般都是单隐层, ...
深度学习基础（四）—— RBM（受限波尔滋曼机）
如果神经网络的初值选取的不好的话,往往会陷入局部最小值.实际应用表明,如果把 RBM 训练得到的权值矩阵和 bias 作为 BP 神经网络的初始值,得到的结果会非常好.其实,RBM 最主要的用途还是用 ...
【零散知识】受限波兹曼机（restricted Boltzmann machine，RBM）和深度置信网络（deep belief network，DBN）
前言: { 最近一直在想要不要去线下的英语学习机构学英语 (本人的英语口语能力实在是低).如果我想完成今年的年度计划,那么今年就没时间学英语了. 这次的内容是之前落下的深度置信网络(deep beli ...
深度学习 —— 受限玻尔曼机 RBM
能量基础模型(EBM) 能量基础模型为每一个感兴趣的变量设置分配一个标量能量.学习目的是改变能量函数以使它具有期待属性.例如我们希望通过理想或可行的设置获得低能量.能量基础的概率模型定义了能量函数的概 ...
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES利用量子波兹曼机进行强化学习
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES 利用量子波兹曼机进行强化学习 Abstract. We investigate whet ...
RBM受限波兹曼机在特征学习上的使用
'''受限波兹曼机在特征学习上的使用 ''' import numpy as np import matplotlib.pyplot as plt %matplotlib inline from sk ...
训练局限玻尔斯曼机(Training Restricted Boltzmann Machines)
本栏目(Training Restricted Boltzmann Machines)包括内容的介绍.局限玻尔斯曼机与对比差异(CD)的回顾.使用CD时怎样纠正统计.迷你块大小(mini-ba ...
【计算机视觉】计算机视觉与深度学习-01-计算机视觉相关介绍-北邮鲁鹏老师课程笔记
计算机视觉与深度学习-01-计算机视觉相关介绍前言图像处理 vs 计算机视觉图像处理计算机视觉相关课程计算机视觉简介计算机视觉顶级会议计算机视觉的目标图像中的信息三维场景的结构信息 ...
深度学习模型---限制波兹曼机
3.Restricted Boltzmann Machine (RBM)限制波尔兹曼机假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的 ...

深度波尔茨曼机（DBM）

深度波尔茨曼机（DBM）相关推荐

最新文章

热门文章