Dirichlet Process 和 Dirichlet Process Mixture模型
[本文链接：http://www.cnblogs.com/breezedeus/archive/2012/11/05/2754940.html，转载请注明出处。]
Dirichlet Process (DP)被称为分布的分布。从DP抽取出的每个样本（一个函数）都可以被认为是一个离散随机变量的分布函数，这个随机变量以非零概率值在可数无穷个离散点上取值。比较有意思的是，从DP可以推导出几个非常著名的问题： Chinese Restaurant Process (CRP)、Polya Urn Scheme和Stick-breaking Process。简单的介绍可以见Edwin Chen的博文“Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process”。
DP的特性使得它在非参数贝叶斯聚类模型中可以被用作参数的先验分布。Dirichlet Process Mixture (DPM)是这种非参数贝叶斯聚类模型中的一个典型代表。DPM可以认为是有限混合（Finite Mixture，FM）模型的一个推广，FM（如Gaussian Mixture模型）必须首先给定类数，而DPM则不需要，它可以依据数据自行判断类数。理论上来说，DPM的类数随着log(样本点数量)的增长速度增长。目前研究者已经提出了很多训练DPM的算法，从Gibbs Sampling，到Collapsed Gibbs Sampling，到Variational方法。我自己实现了Collapsed Gibbs Sampling方法，速度是个很大的约束，跑大数据很费劲。DPM的一个另一个问题是它的类数由算法自动控制（虽然有个超参数alpha可以大致上调节类数），最终产生的类数可能与期望的差别很大。
想进一步了解DP和DPM的同学，可以去Yee W. Teh的主页上看看，里面可以找到很多相关的papers，slides，presentations，以及用Matlab写的DPM开源软件。想仔细了解DPM的各个算法及具体推导，建议看看Xiaodong Yu的博文，里面也有他总结的一个很详细的学习笔记（虽然里面有一些小笔误），以及更多的参考资料。我自己也写了一份总结，但是懒得用Latex打出来了，就以图片打包的方式放在网盘里了，只把最后一页的参考文献贴下面。那些参考文献可以直接Google后下载。对理论没有兴趣的同学请忽略吧，哈哈。
转载于:https://www.cnblogs.com/breezedeus/archive/2012/11/05/2754940.html
Dirichlet Process 和 Dirichlet Process Mixture模型相关推荐
- EPG 在 CMMI 中的缩写含义 EPG (Engineering Process Group) 在“能力成熟度模型集成”中，是“过程改进小组”的缩写. 是指决策层面的LEADER组成的委
EPG (Engineering Process Group) 在"能力成熟度模型集成"中,是"过程改进小组"的缩写. 是指决策层面的LEADER组成的委员会, ...
- 问题：org.gradle.process.internal.ExecException: Process 'command 'C:\Program Files\Java\jdk1.8.0
在用as开发项目的过程中,我碰到了这个错误,在网上找到了如下的解决方法,做下总结: 被编译的代码或资源有问题( finished with non-zero exit value 1): 出现这种编译 ...
- java process 重启_JAVA Process启动sh 后的问题
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 import android.annotation.SuppressLint; import android.os.*; import java.io.* ...
- STOP: c000021a { Fatal System Error } the initial session process or system process terminated ...
错误: STOP: c000021a { Fatal System Error } the initial session process or system process terminated u ...
- 三层Dirichlet 过程(非参贝叶斯模型)-来自Machine Learning
本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章来源 Nguyen V A, Boyd-Graber ...
- checkpoint process vs writer process vs wal writer process
开始 我目前的理解是: 如果我执行了一条SQL文,那么 先是相关数据写到 wal buffer里, 然后再写到 data buffer(shared_buffer)里. 这之后, 由于wal wr ...
- python process pool_python multiprocessing.Process，multiprocessing.Pool区别（不同之处）
我们知道GIL Lock禁用了Python中的多线程功能.在Python中multiprocessing提供了两个用于多进程的类,即Process和Pool类.在以下各节中,我已对使用pool和pro ...
- python process 函数_Python Process创建进程的2种方法详解
前面介绍了使用 os.fork() 函数实现多进程编程,该方法最明显的缺陷就是不适用于 Windows 系统.本节将介绍一种支持 Python 在 Windows 平台上创建新进程的方法. Pytho ...
- b2g process 和nuwa process 通信
它们通信的目的在于: b2g要发消息给nuwa,让它fork出web app进程.它们发生在nuwa进程已经完全启动,并准备好fork 其他app子进程.猜想,用的是socket pair 建立关系, ...
最新文章
- php cms拥有博客功能,20款最为知名的开源PHP CMS
- aop切面排除某个类_AOP 你看这一篇就够了
- ARMS企业级场景被集成场景介绍
- iOS block 用法
- OC 方法,继承,特殊方法
- php的微信登录示例代码,网站微信登录实例代码
- 多功能笔记工具Notability创建甜甜圈图案的趣味教程
- linux shell awk -F‘:‘ ‘{print $1}‘
- Deep Learning（深度学习）学习笔记
- 目标检测——CodeBook背景建模（原理+Opencv实现代码）
- 高效 Windows 工作环境 Java 开发环境搭建
- html div 上下显示不全,div垂直居中 css div盒子上下垂直居中显示
- 数字档案馆子系统划分与功能
- 智能车学习----最小二乘法求拟合曲线(中线)的斜率
- 骨传导式耳机推荐，2021骨传导耳机排行榜
- 谈谈架构 -- architect
- 使用LL库开发STM32：UART基础使用
- FPGA / IC 设计（一）
- 数论学习笔记1之积性函数与线性筛求积性函数
- mysql断开连接_MYSQL,使用什么命令可以断开所有用户的表连接？