受限玻尔兹曼机——用在推荐系统里
from:http://blog.csdn.net/xbinworld/article/details/44901865
需要的背景知识
要学习RBM需要的一些基本的统计学习基础,包括贝叶斯定理,随机采样方法(Gibbs sampling)等。这些可以翻阅我之前写的一些博文可以看到相关的介绍,在本文中就不具体展开了。总体来说RBM还是相对比较独立的一个算法,不需要依赖太多的先验知识。
RBM基本概念
受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是G.Hinton教授的一宝。Hinton教授是深度学习的开山鼻祖,也正是他在2006年的关于深度信念网络DBN的工作,以及逐层预训练的训练方法,开启了深度学习的序章。其中,DBN中在层间的预训练就采用了RBM算法模型。RBM是一种无向图模型,也是一种神经网络模型。
RBM具有两层:可见层(V层),以及隐藏层(H层),网络上比较常见的一张图是[1]:
可以看到,两层神经元之间都是全连接的,但是每一层各自的神经元之间并没有连接,也就是说,RBM的图结构是一种二分图(bipartite graph)。正是这个特点,才叫受限玻尔兹曼及,玻尔兹曼机是允许同一层之间的神经元相连的。RBM其实是一种简化了的BM模型。
还有一个特点,RBM中的神经元都是二值化的,也就是说只有激活和不激活两种状态,也就是0或者1;可见层和隐藏层之间的边的权重可以用WW来表示,WW是一个|V|×|H||V|×|H|大小的实数矩阵。后面一篇讲RBM求解的时候可以看到,算法难点主要就是对WW求导(当然还有bias参数),用于梯度下降的更新;但是因为V和H都是二值化的,没有连续的可导函数去计算,实际中采用的sampling的方法来计算,这里面就可以用比如gibbs sampling的方法,当然,Hinton提出了对比散度CD方法,比gibbs方法更快,已经成为求解RBM的标准解法。RBM求解部分将在下一小篇中具体介绍。
OK,第一篇就到这里。
觉得有一点点价值,就支持一下哈!花了很多时间手打公式的说~更多内容请关注Bin的专栏
参考资料
[1] http://www.chawenti.com/articles/17243.html
[2] 张春霞,受限波尔兹曼机简介
[3] http://www.cnblogs.com/tornadomeet/archive/2013/03/27/2984725.html
[4] http://deeplearning.net/tutorial/rbm.html
[5] Asja Fischer, and Christian Igel,An Introduction to RBM
[6] G.Hinton, A Practical Guide to Training Restricted Boltzmann Machines
[7] http://blog.csdn.net/itplus/article/details/19168937
[8] G.Hinton, Training products of experts by minimizing contrastive divergence, 2002.
[9] Bengio, Learning Deep Architectures for AI, 2009
转载于:https://www.cnblogs.com/bonelee/p/8565869.html
受限玻尔兹曼机——用在推荐系统里相关推荐
- 盘一盘推荐系统里值得一读的那些论文
工业中常用的推荐算法其实并不像论文中那么复杂,大多数的时候是稳定的模型.充分的特征工程和各种精妙的业务策略等.当然,如果你想,也可以做的很复杂....大部分时间读论文是在拓展思路并结合自身面临的问题去 ...
- 受限玻尔兹曼机(RBM)原理总结
https://blog.csdn.net/l7H9JA4/article/details/81463954 授权转发自:刘建平<受限玻尔兹曼机(RBM)原理总结> 地址:http://w ...
- 【theano-windows】学习笔记十五——受限玻尔兹曼机
前言 终于到了最喜欢的模型: 受限玻尔兹曼机(RBM)了, 发现关于RBM是如何从能量模型发展过来的介绍非常不错, 而关于详细理论证明, 可以去看我前面的受限玻尔兹曼机的一系列博客. 国际惯例, 参考 ...
- 受限玻尔兹曼机准备知识——MCMC方法和Gibbs采样
先点明几个名词 MCMC方法:马尔可夫链-蒙特卡洛方法 (千万别叫成梅特罗波利斯蒙特卡罗方法了) Metropolis-Hastings采样:梅特罗波利斯-哈斯廷斯采样 Gibbs采样:吉布斯采样 ...
- DBN【深度置信网络】【受限玻尔兹曼机深层】详解
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功.本人在多年之前也曾接触过神经网络.本系列文章主要记录自己对深度神经网络的一些学习心得. 简要描述深度神经网络模型. 1. 自联想神经网络 ...
- 受限玻尔兹曼机定型实用指南-大桥之墩译
GefffreyHinton 多伦多大学计算机系 内容: 译序 1. 介绍 2. 受限玻尔兹曼机和散度对比(Contrastive Divergence)概述 3. 使用 ...
- keras 受限玻尔兹曼机_目前深度学习的模型有哪几种,适用于哪些问题?
深度学习的模型有很多, 目前开发者最常用的深度学习模型与架构包括 CNN.DBN.RNN.RNTN.自动编码器.GAN 等.雷锋网搜集整理了涉及以上话题的精品文章,供初学者参考,加速深度学习新手入门. ...
- 受限玻尔兹曼机和深度置信网络
从玻尔兹曼机到深度置信网络 本文仍处于草稿阶段,请慎重观看 引言 受限玻尔兹曼机(Restricted Boltzmann Machines, RBM)最初是在1986年由Paul Smolensky ...
- 深度学习 --- 受限玻尔兹曼机详解(RBM)
本节终于来到了重头戏受限玻尔兹曼机,为了能深入理解本节,我们深入讲了很多基础知识,这些基础知识很重要,是理解本节的基础,同时也是你学习其他算法的基础如强化学习.自然语言处理等.本节的安排是先对比一下受 ...
最新文章
- 试玩UML(User Mode Linux)
- 5、mybatis主配置文件之environments
- html框架有什么作用,使用HTML5+CSS+JS框架有那些好处
- VS配合VSS时,编译报错:未能向文件“....csproj.FileListAbsolute.txt”写入命令行,对路径的访问被拒绝。...
- 函数调用关系图如何画_彩铅画入门植物教程 | 如何用彩铅画一株多肉?多肉彩铅画教程步骤图详细...
- ronald aai_AAI的完整形式是什么?
- Java容器-面试题
- CIDR的IP地址与可分配的IP地址辨析
- [交叉验证]机器学习中分类器的选择
- Magoshare Data Recovery Enterprise(电脑免费数据恢复软件)绿色便携版V4.5.0 | 电脑数据恢复软件免费版下载
- 吴翰清:云计算安全是“皇帝的新装”么?
- 杏仁粉的全球与中国市场2022-2028年:技术、参与者、趋势、市场规模及占有率研究报告
- php使用 163邮箱接口,G. PHP发送邮件功能实现(使用163邮箱)
- 常用的PHP加密方式
- python黑魔法指南_python黑魔法一天从那个入门到进阶
- 即使不考CCSP认证,也要了解的知识有哪些?
- Ubuntu学习之alias命令
- 苹果手机以旧换新活动_苹果再次清仓iPhone SE,以旧换新活动延期
- 5个技巧,帮助编程新手培养持续学习能力
- 解决远古VOD使用域名访问时出现“文件服务器未找到”的错误
热门文章
- 用友现存量和可用量_护肤品用量不对,不仅变相浪费还有可能……
- 由于存储区是只读的,存储区已满,或者存储区没有正确打开,所以导致失败
- python具备哪些特点_Python具备那些特点?
- web服务器与网页表单通信,前端与后端通信的几种方式
- 翟萍python程序设计_Python程序设计(高等学校计算机教育规划教材)
- 计算机桌面堆,桌面堆限制导致内存不足错误 - Windows Server | Microsoft Docs
- 表单提交对数据进行加密详解(RSA加密)
- 每天一个linux命令(12):more命令
- 大厂首发!java敏捷开发模式面试题
- python中如何调用java_在Python程序中调用Java代码的实现