深度学习基础（七）—

仅知道概率密度是不狗的，需要的是样本，gibbs sampling 就是获取样本的。

Gibbs 抽样将高维的连续概率密度分布退化为一维概率密度函数分布的抽样；
- 2 维 ⇒ 1 维；
- Gibbs 采样极大地降低了高维概率分布函数采样的难度；
Gibbs 抽样的三阶段：
- Initialization
- burn-in
- sampling

为了使得采样样本之间尽可能地保持独立，可在采样阶段设置每隔 L 次采样一次：


# L, num_burn, num_samplessamples = []
for i in range(num_burn+L*num_samples):if i > num_burn:...x = ...if (i-num_burn) % L == 0:samples.append(x)

Gibbs 抽样是一种基于 MCMC（Markov Chain Monte Carlo）策略的抽样方法，具体来说对于一个 dd 维的随机向量 X=(x1,x2,…,xd)X=(x_1,x_2,\ldots,x_d)，但是我们无法直接求出 XX 的概率分布 p(X)p(X)，但我们知道给定的 XX 的其他分量关于第 ii 个分量 xix_i 的条件分布，即 p(xi|xi−),xi−=(x1,x2,…,xi−1,xi+1,xd)p(x_i|x_i-),x_i-=(x_1,x_2,\ldots,x_{i-1},x_{i+1},x_d)。那么，我们可以从 xx 的任意状态，如 (x1(0),x2(0),…,xd(0))(x_1(0),x_2(0),\ldots,x_d(0)) 开始，利用条件分布 p(xi|xi−)p(x_i|x_i-)，迭代地对这状态的每个分量进行抽样。

x = np.random.randn(d)
for i in range(d):x[i] = conditional_prob(...)...

随着抽样次数的增加，随机变量 (x1(n),x2(n),…,xd(n))(x_1(n),x_2(n),\ldots,x_d(n)) 的概率分布将以 nn 的几何级数的速度收敛于 xx 的联合概率分布 p(x)p(x)。

（1）给 (g,u,b)(g,u,b) 赋初值，(g0,u0,b0)(g_0,u_0,b_0)，
（2）利用 p(g|u0,b0)p(g|u_0,b_0)，计算 g1g_1
（3）利用 p(u|g1,b0)p(u|g_1,b_0)，计算 u1u_1
（4）利用 p(b|g1,u1)p(b|g_1,u_1)，计算 b1b_1
（5）重复（2）-（4），这样我们就得到一个 Markov Chain {(g0,u0,b0),(g1,u1,b1),…,(gt,ut,bt)}\{(g_0,u_0,b_0),(g_1,u_1,b_1),\ldots,(g_t,u_t,b_t)\}

深度学习基础（七）—— Gibbs 采样相关推荐

深度估计相关原理（计算机视觉和深度学习基础）
今天来和大家介绍一下深度估计涉及到的理论知识点,包括计算机视觉基础和深度学习基础. 一.计算机视觉基础 1.1. 针孔相机模型相机模型,是指采用一个几何模型来描述三维世界中的坐标点映射到二维图像平面 ...
深度学习基础(基本概念、优化算法、初始化、正则化等)
2020-04-25 16:29:09 引言深度学习目前已成为发展最快.最令人兴奋的机器学习领域之一,许多卓有建树的论文已经发表,而且已有很多高质量的开源深度学习框架可供使用.然而,论文通常非常简明 ...
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐
人工智能 - paddlepaddle飞桨 - 深度学习基础教程 - 个性化推荐本教程源代码目录在book/recommender_system,初次使用请您参考Book文档使用说明. 说明: 硬件 ...
第三章_深度学习基础
文章目录第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 3.1.2神经网络有哪些常用模型结构? 3.1.3如何选择深度学习开发平台? 3.1.4为什么使用深层表示? 3.1.5为 ...
深度学习基础知识点【更新中】
深度学习基础知识点文章目录深度学习基础知识点 1. 数据归一化 2. 数据集划分 3. 混淆矩阵 4. 模型文件 5. 权重矩阵初始化 6. 激活函数 7. 模型拟合 8. 卷积操作 9. 池化操 ...
五万字总结,深度学习基础。
文章目录 1 基本概念 1.1 神经网络组成? 1.2 神经网络有哪些常用模型结构? 1.3 如何选择深度学习开发平台? 1.4 为什么深层神经网络难以训练? 1.5 深度学习和机器学习的异同? 2 ...
第3章(3.11～3.16节)模型细节/Kaggle实战【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
项目地址:https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的<动手学深度学习>开源书一经推出便广受好评.很多开 ...
《机器学习系列教程》第三章深度学习基础
@[第三章深度学习基础] 第三章深度学习基础 3.1 基本概念 3.1.1 神经网络组成? 为了描述神经网络,我们先从最简单的神经网络说起. 感知机简单的感知机如下图所示: [外链图片转存失败( ...
深度学习实验七循环神经网络
文章目录深度学习实验七循环神经网络一.问题描述二.设计简要描述三.程序清单深度学习实验七循环神经网络一.问题描述之前见过的所以神经网络(比如全连接网络和卷积神经网络)都有一个主要 ...
深度学习基础之卷积神经网络
摘要受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位.近年来卷积神经网络在多个 ...

深度学习基础（七）—— Gibbs 采样

深度学习基础（七）—— Gibbs 采样相关推荐

最新文章

热门文章