本篇的论文来自：Wang C, Blei D M. Decoupling sparsity and smoothness in the discrete hierarchical dirichlet process[C]//Advances in neural information processing systems. 2009: 1982-1989.

本博客作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。

模型简介

该篇文章，主要引入了“spike and slab” prior 来控住主题下词的稀疏性，即主题并不是包含所有的单词了。并且该篇文章使用的方式是非参方法，主题的数目通过学习确定。如下图所示，为sparseTM模型的概率图表示：

如下图所示为模型的生成过程：

相比较传统的LDA而言，这里的变化是每个主题包含的词的数量受到限制，这里通过贝努利分布实现词是否被分配到某一主题中。

公式推导难点

前面的公式按照，作者写的补充材料一步一步来，基本都能看懂，在推导到最后时，发现有些东西不太了解，找了资料才发现，原来是这样的。

在这里求期望时，我没有弄明白。在泰勒级数近似时，为什么要使用高斯分布。这里就有一个小技巧。

因为在使用泰勒展开时，x必须是连续性随机变量。而这篇文章的的X服从的是二项分布，而二项分布是离散型分布，为此，这篇文章在推导公式时，利用中心极限定理：正太分布是二项分布的极限分布。

sparseTM的公式理解相关推荐

数学-先验概率和后验概率和一系列概率公式理解
自用. 一. 先验概率和后验概率理解这两个都是描述某个结论H发生的概率. 假如我当前什么证据都没有,就根据之前的人生经历,思索下说P(H)=0.99,认为结论H发生的可能高达99%,那这时的P(H) ...
四足控制中的公式理解
说明:本文章用于记录四足相关论文的公式理解,由于本人能力有限,公式的理解来自对论文内容的研读,网上的相关文章以及个人猜测的结合,不准确之处欢迎各位批评指正,本文也会不断更新.欢迎与我联系:225001 ...
100天搞定机器学习|day37 无公式理解反向传播算法之精髓
100天搞定机器学习(Day1-34) 100天搞定机器学习|Day35 深度学习之神经网络的结构 100天搞定机器学习|Day36 深度学习之梯度下降算法本篇为100天搞定机器学习之第37天,亦 ...
关于BRDF公式理解的笔记
看视频的时候一直没理解反射方向的光亮度radiance为什么要做微分,看到很多弹幕也有类似的问题,但翻遍论坛没有找到想要的回答.在反复观看闫老师和清华胡事民在这部分的讲解后,有些个人的理解,在此记录下 ...
【算法思考】双目视差求像素深度公式理解
目录背景可视化理解推导背景双目相机可以通过左右目图像的匹配得到每个像素的视差,即左眼像素 u l , v u_l, v ul,v 能找到右眼图像中的匹配像素 u r , v u_r, v ...
距离保护整定计算中分支系数公式理解
在一般的距离保护II段和III段的整定计算中,分支系数的计算是必须要的,本文选自电力系统继电保护(第二版)(张保会老师主编)P94-P97页的例题,分析其中分支系数的计算公式. 我们在前面的章节中知道 ...
背计算机二级excel公式,理解不了就硬背！计算机二级Excel常考函数公式！
十二月的计算机二级快来了,很多同学可能就是栽在Excel这里,不会用公式,实在不行,就硬背加理解吧! 1.数学函数 (1)绝对值函数ABS 格式: ABS(number) 功能:返回参数number的 ...
模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解
文章目录公式介绍量化零点 z z z 在离散化过程中的作用量化尺度 s s s 在离散化过程中的作用量化尺度 s s s 和量化零点 z z z 联合作用公式介绍本人初入模型量化的坑, ...
光轴会聚模型求解世界坐标点流程与公式理解
光轴会聚模型下,由左右像片像素坐标值,求解世界坐标点流程: 左.右两摄像机共线方程的矩阵形式: 上面公式的逆推导流程,首先将有关u1,v1,u2,v2的项移到等式的左边,再将无关u1,v1,u2,v2 ...

sparseTM的公式理解

模型简介

公式推导难点

sparseTM的公式理解相关推荐

最新文章

热门文章