深度学习：深度信念网络（DBN）结构和训练过程

深度信念网络在处理维数比较多的数据时，可以起到压缩数据维度的作用。其经典结构为：

DBN由多个RBM堆叠而成，训练过程由预训练和微调构成
深度信念网络训练步骤：
（1）预训练：分别单独无监督的训练每一层RBM网络，确保特征向量映射到不同特征空间，都尽可能的保留特征信息；它通过一个非监督贪婪逐层方法预训练获得权重（即不要类标，不断拟合输入，依次逐层）。在这个过程中，数据输入到可见层，生成一个向量V，在通过权值w传给隐藏层，得到h，由于隐藏层之间是无连接的，所以可以并行得到隐藏层所有节点值。通过隐层激活单元和可视层输入之间的相关性差别（通过能量函数来度量网络的稳定性，优化函数是根据求能量函数球指数后，归一化，然后最大似然得到）就作为权值更新的主要依据。具体公式？
从单层的RBM训练说起，可见层是用来接受输入信号，隐藏层用来提取特征，RBM是通过无监督学习自动找到研究问题的最佳特征。
（2）在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器.而且每一层 RBM 网络只能确保自身层内的权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络.RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点.

转载：
https://blog.csdn.net/u013714645/article/details/74892888
https://blog.csdn.net/NIeson2012/article/details/52184189

深度学习：深度信念网络（DBN）结构和训练过程相关推荐

【学习笔记】【DBN】十九——深度信念网络DBN
本篇简要介绍深度信念网络DBN,是一个不太常见的神经网络. 首先对深度信念网络(DBN)进行简要介绍,然后对其组成原件RBM的结构.原理和训练过程进行介绍.接着对DBN的训练过程进行介绍. 目录一. ...
【深度学习】图网络——悄然兴起的深度学习新浪潮
[深度学习]图网络--悄然兴起的深度学习新浪潮 https://mp.weixin.qq.com/s/mOZDN9u7YCdtYs6DbUml0Q 现实世界中的大量问题都可以抽象成图模型(Graph ...
【深度学习】孪生网络（Siamese Network）的模式和训练过程
[深度学习]孪生网络(Siamese Network)的模式和训练过程文章目录 1 概述 2 Siamese network 孪生神经网络 3 孪生神经网络和伪孪生神经网络分别适用于什么场景呢? 4 ...
【火炉炼AI】深度学习001-神经网络的基本单元-感知器
[火炉炼AI]深度学习001-神经网络的基本单元-感知器 (本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotl ...
详解深度学习之经典网络架构（十）：九大框架汇总
目录 0.概览 1.个人心得 2.总结本文是对本人前面讲的的一些经典框架的汇总. 纯手打,如果有不足之处,可以在评论区里留言. 0.概览 (1)详解深度学习之经典网络架构(一):LeNet (2)详 ...
研究型论文_基于机器学习和深度学习的不平衡网络流量入侵检测（英文论文）
文章目录 Intrusion Detection of Imbalanced Network Traffic Based on Machine Learning and Deep Learning 论 ...
深度学习网络模型——RepVGG网络详解、RepVGG网络训练花分类数据集整体项目实现
深度学习网络模型--RepVGG网络详解.RepVGG网络训练花分类数据集整体项目实现 0 前言 1 RepVGG Block详解 2 结构重参数化 2.1 融合Conv2d和BN 2.2 Conv2 ...
新论文推荐：Auto-Keras:自动搜索深度学习模型的网络架构和超参数
Auto-Keras 是一个开源的自动机器学习库,由美国德州农工大学(Texas A&M University)助理教授胡侠和他的两名博士生:金海峰.Qingquan Song提出.Auto- ...
HALCON 20.11：深度学习笔记(4)--- 网络和训练过程
HALCON 20.11:深度学习笔记(4)--- 网络和训练过程 HALCON 20.11.0.0中,实现了深度学习方法.关于网络和训练过程如下: 在深度学习中,任务是通过网络发送输入图像来执行的. ...
深度学习目标检测网络汇总对比,挺好的
深度学习目标检测网络汇总对比本文总阅读量次欢迎star我的博客 2019-01-03 参考 :https://medium.com/@jonathan_hui/object-detection-s ...

深度学习：深度信念网络（DBN）结构和训练过程

深度学习：深度信念网络（DBN）结构和训练过程相关推荐

最新文章

热门文章