RBM/DBN训练中的explaining away概念
可以参照
Stanford大神DaphneKoller的概率图模型，里面贝叶斯网络一节讲到了explaining away。我看过之后试着谈谈自己的理解。
explainingaway指的是这样一种情况：对于一个多因一果的问题，假设各种“因”之间都是相互独立的，如果已经确定了是因为其中一种原因导致了结果，那么因为其他原因导致了该结果的概率就会下降。
单纯看定义似乎很令人费解，因为原因之间应该是相互独立的，怎么会相互影响呢？举个最简单的例子就可以回答这个问题。
考虑三个随机变量ABC，其中C=A | B，AB相互独立。如果写出它们的概率分布就是这样的：
可以看出，只要A与B中的任意一个为1就会导致C为1,这正是一个最简单的多因一果问题。
假设我们观察到C = 1，但不知道是哪种原因导致的，那么根据上面的联合概率分布可以推断，P( A = 1 | C = 1 ) =P( B = 1 | C = 1 ) = 2/3。而且P( B = 1 | C = 1 ) > P( B = 1)，即因为观察到了“果”，出现“因”的概率比平常更大，这是符合我们经验的。
但是，如果我们已经确认了A = 1，那么此时不论B取值为多少都会有C=1，即P( B = 1 | C = 1, A = 1 )= 1/2 = P( B = 1 ) < P( B = 1 | C = 1 )。B的取值再一次变得完全无法判断（对比上面，B取值为1的概率减小了），这就是explaining away。
在现实生活中也可以找到这样的例子：假设房子倒塌的可能性包括地震和恐怖袭击，如果我们发现房子倒了，那么很有可能发生了两者中的一个，但如果我们知道是恐怖分子用飞机撞倒的，那么我们就无法判断是不是发生了地震。这时地震的概率就从“很可能”变回了“有可能”，概率降低了，这就是explainingaway。
【转自：】http://blog.csdn.net/huangbo10/article/details/23091083
RBM/DBN训练中的explaining away概念相关推荐
- DBN训练学习-A fast Learning algorithm for deep belief nets
转载自:http://blog.sciencenet.cn/blog-110554-889016.html DBN的学习一般都是从Hinton的论文A Fast Learning Algorithm ...
- 3模型大小_分布式训练中数据并行远远不够，「模型并行+数据并行」才是王道...
选自arXiv 作者:Saptadeep Pal等 机器之心编译参与:魔王.杜伟 数据并行(DP)是应用最广的并行策略,对在多个设备上部署深度学习模型非常有用.但该方法存在缺陷,如随着训练设备数量不断 ...
- 神经网络训练中的Tricks之高效BP（反向传播算法）
神经网络训练中的Tricks之高效BP(反向传播算法) zouxy09@qq.com http://blog.csdn.net/zouxy09 Tricks!这是一个让人听了充满神秘和好奇的词.对于我 ...
- epoch训练时间不同_神经网络训练的三个基本概念Epoch, Batch, Iteration
深度神经网络的优化都是基本都是基于梯度下降的,梯度下降的过程就是寻找函数值下降速度最快的方向,沿着该方向迭代,快速到达局部最优解的过程. 梯度下降更新参数的方式最常见的有三种: 1. 批量梯度下降(B ...
- 一文速览！多模态预训练中的 Prompt 范式
作者 | 上杉翔二 悠闲会 · 信息检索 整理 | NewBeeNLP 上一篇博文整理了预训练新范式,见 预训练新范式!为什么Prompt会更有效? 主要是围绕NLP上的成果,具体的概念本文也不做过多 ...
- 如何解决 Iterative 半监督训练 在 ASR 训练中难以落地的问题丨RTC Dev Meetup
前言 「语音处理」是实时互动领域中非常重要的一个场景,在声网发起的「RTC Dev Meetup丨语音处理在实时互动领域的技术实践和应用」活动中,来自微软亚洲研究院.声网.数美科技的技术专家,围绕该话 ...
- 关于模型训练中显存占用过大的或直接报显存爆炸的解决方法
模型训练显存爆炸解决方法 在模型训练中,应该理解梯度.反向传播.图层.显存这些概念,在模型训练过程中,一般会分为训练+验证+测试 ,在这些过程中,一般在训练过程中会比较占用显存,因为涉及到反向传播,需 ...
- 人工智能中 相关的术语概念知识
日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.预训练模型1.现在有很多在Imagenet等数据集上训练的 ...
- （tensorflow笔记）神经网络中的一些关键概念（学习率、激活函数、损失函数、欠拟合和过拟合、正则化和优化器）
目录 1.神经网络复杂度 空间复杂度 时间复杂度 2.学习率策略 指数衰减学习率 分段常数衰减 3.激活函数 sigmoid tanh ReLU Leaky ReLU 建议 4.损失函数 均方误差损失 ...
最新文章
- c#调用java开发的webservice_用C#.NET调用Java开发的WebService传递int,double问题
- cad四边形展开lisp_批量绘制四边形 - AutoLISP/Visual LISP 编程技术 - CAD论坛 - 明经CAD社区 - Powered by Discuz!...
- 【Luogu4512】多项式除法（FFT）
- python编程入门与案例详解pdf-这些年我读过的技术经典图书(附电子版下载地址)...
- meeting with nate mar 13 meeting notes
- python3扫盲系列-（3）
- 关联式容器(map,set,multimap,multiset)
- Tomcat 添加为系统服务 开机自动启动
- springboot 手动提交事务_分布式事务开局第一篇，从数据库事务隔离级别说起
- macOS装机必备（软件测试人员）
- linux学习—— CentOS命令行版下创建KVM虚拟机（VM）并添加SR-IOV的虚拟网卡（VF）
- ZZULIOJ1049
- Word类报表实例 - 质量检测报告
- Springboot系列之RestApi中获取枚举类属性的几种方式
- 【Unity插件001】VRTK3.3.0的使用
- 解决文件不显示后缀名的问题
- 最全面java中的static关键字剖析
- 【小沐学NLP】Python实现聊天机器人（Selenium、七嘴八舌）
- C#利用开源库OpenHardwareMonitor获取CPU或显卡温度、使用率、时钟频率
- 如何用Photoshop批量改变图片的大小