深度信念网络DBN的一个matlab实例

关于深度学习的一些个人浅见：

深度学习通常是训练深度（多层）神经网络，用于模式识别（如语音、图像识别）；深度网络指是具有深层（多层）网络结构的神经网络。

深层网络由于神经元多，参数多，拟合表现能力强，有表现欲解决复杂问题的能力。

但是深度网络存在很多局部最优解，深度网络的训练容易停留在局部最优上，初始参数的选择对网络最终收敛在那个位置有很大的影响。

采用限制玻尔兹曼机RBM对深度网络做逐层无监督训练，将各单层训练得到的参数作为深度网络各层神经元的初始参数，该参数是深度网络参数空间的一个较好位置（容易）。

RBM逐层训练出深度网络参数初值后，在用传统的BP算法对深度网络进行训练，如此，深度网络的参数最终将收敛在一个好的位置。

RBM通过迭代大量数据的无监督训练，把能够提炼出训练数据的较本质的特征，这被认为是好的初始参数。

本例子为matlab编写，为用数字识别训练一个手写数字识别的深度神经网络。

另外需要DBN的支持代码，可以从这里下载：http://download.csdn.net/detail/hzq20081121107/7857735，http://pan.baidu.com/s/1c0fBQsK

网络结构采用 784,400,200,100,50,20,10的网络结构。

function aGetDeepNet()
clc
clear all
%得到训练数据
load('adata.mat','train_digitdata','train_targets');
X = train_digitdata;
Y = train_targets;
%输入数据初始化
Xmin = min(X);
Xmax = max(X);
X = bsxfun(@rdivide,bsxfun(@minus,X,Xmin),(Xmax-Xmin));%RBM训练得到第一隐层的网络参数，rbm输入为图片数据
rbm1 = rbm([784,400]);
rbm1 = checkrbmtrain(@rbmtrain1,rbm1,X,50,0.1);
net_rbm1 = rbm2nnet(rbm1,'up');
h1 = nnetfw(net_rbm1,X);%RBM训练得到第二隐层的网络参数，输入为第一隐层的输出
rbm2 = rbm([400,200]);
rbm2 = checkrbmtrain(@rbmtrain1,rbm2,h1,50,0.1);
net_rbm2 = rbm2nnet(rbm2,'up');
h2 = nnetfw(net_rbm2,h1);%RBM训练得到第三隐层的网络参数，输入为第二隐层的输出
rbm3 = rbm([200,100]);
rbm3 = checkrbmtrain(@rbmtrain1,rbm3,h2,50,0.1);
net_rbm3 = rbm2nnet(rbm3,'up');
h3 = nnetfw(net_rbm3,h2);%RBM训练得到第四隐层的网络参数，输入为第三隐层的输出
rbm4 = rbm([100,50]);
rbm4 = checkrbmtrain(@rbmtrain1,rbm4,h3,50,0.1);
net_rbm4 = rbm2nnet(rbm4,'up');
h4 = nnetfw(net_rbm4,h3);%RBM训练得到第五隐层的网络参数，输入为第四隐层的输出
rbm5 = rbm([50,20]);
rbm5 = checkrbmtrain(@rbmtrain1,rbm5,h4,50,0.1);
net_rbm5 = rbm2nnet(rbm5,'up');
h5 = nnetfw(net_rbm5,h4);%构建深度网络，并初始化参数为rbm训练出的参数。
net1 = nnet([784,400,200,100,50,20,10],'softmax');
net1.w{1} = net_rbm1.w{1};
net1.w{2} = net_rbm2.w{1};
net1.w{3} = net_rbm3.w{1};
net1.w{4} = net_rbm4.w{1};
net1.w{5} = net_rbm5.w{1};%对深度网络进行BP训练
net2 = nnettrain(net1,X,Y,1000);%用训练好的深度网络net2分类识别
y = nnetfw(net2,X);

深度信念网络DBN的一个matlab实例相关推荐

【学习笔记】【DBN】十九——深度信念网络DBN
本篇简要介绍深度信念网络DBN,是一个不太常见的神经网络. 首先对深度信念网络(DBN)进行简要介绍,然后对其组成原件RBM的结构.原理和训练过程进行介绍.接着对DBN的训练过程进行介绍. 目录一. ...
【theano-windows】学习笔记十六——深度信念网络DBN
前言前面学习了受限玻尔兹曼机(RBM)的理论和搭建方法, 如果稍微了解过的人, 肯定知道利用RBM可以堆叠构成深度信念网络(deep belief network, DBN)和深度玻尔兹曼机(dee ...
DBN深度信念网络详解
1. 自联想神经网络与深度网络自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入.很多时候我们并不要求输出精确的等于输入,而是允许一定的误差存在.所以,我们 ...
DBN深度信念网络介绍
DBN神经网络模型使用BP算法单独训练每一层的时候,我们发现,必须丢掉网络的第三层,才能级联自联想神经网络.然而,有一种更好的神经网络模型,这就是受限玻尔兹曼机.使用层叠波尔兹曼机组成深度神经网络 ...
深度学习--深度信念网络（Deep Belief Network）
本篇非常简要地介绍了深度信念网络的基本概念.文章先简要介绍了深度信念网络(包括其应用实例).接着分别讲述了:(1) 其基本组成结构--受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成深度 ...
深度信念网络与受限玻尔兹曼机
本篇非常简要地介绍了深度信念网络的基本概念.文章先简要介绍了深度信念网络(包括其应用实例).接着分别讲述了:(1) 其基本组成结构--受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成 ...
深度信念网络_【文章推荐】应用于油中溶解气体分析的深度信念网络与典型神经网络对比研究...
文章推荐应用于油中溶解气体分析的深度信念网络与典型神经网络对比研究原文发表在<高压电器>2020年第9期. 请进<高压电器>网站(www.zgydq.com)下载全文. D ...
DBN+LSTM神经网络电容量回归分析，基于MATLAB编程的深度信念网络+lstm回归分析，
目录背影 DBN神经网络的原理 DBN神经网络的定义受限玻尔兹曼机(RBM) LSTM长短期神经网络的原理 DBN+LSTM的时间序列电容预测基本结构主要参数 MATALB代码结果图展望 ...
大话深度信念网络（DBN）
-- 原文发布于本人的微信公众号"大数据与人工智能Lab"(BigdataAILab),欢迎关注. 让我们把时间拨回到2006年以前,神经网络自20世纪50年代发展起来后,因其良好 ...

深度信念网络DBN的一个matlab实例

深度信念网络DBN的一个matlab实例相关推荐

最新文章

热门文章