通俗理解LDA主题模型
0 前言印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是因为这篇文档的前序铺垫太长(现在才意识到这些“铺垫”都是深刻理解LDA 的基础,但如果没有人帮助初学者提纲挈领、把握主次、理清思路,则很容易陷入LDA的细枝末节之中),还是因为其中的数学推导细节太多,导致一直没有完整看完过。 2013年12月,在我组织的Machine Learning读书会第8期上,@夏粉_百度 讲机器学习中排序学习的理论和算法研究,@沈醉2011 则讲主题模型的理解。又一次碰到了主题模型,当时貌似只记得沈博讲了一个汪峰写歌词的例子,依然没有理解LDA到底是怎样一个东西(但理解了LDA之后,再看沈博主题模型的PPT会很赞)。
1 gamma函数1.0 整体把握LDA然后以一定的概率选取上述某个主题,再以一定的概率选取那个主题下的某个单词,不断的重复这两步,最终生成如下图所示的一篇文章(其中不同颜色的词语分别对应上图中不同主题下的词):
而当我们看到一篇文章后,往往喜欢推测这篇文章是如何生成的,我们可能会认为作者先确定这篇文章的几个主题,然后围绕这几个主题遣词造句,表达成文。LDA就是要干这事:根据给定的一篇文档,推测其主题分布。
通俗来说,人类根据上述文档生成过程写成了各种各样的文章,现在某小撮人想让计算机利用LDA干一件事:你计算机给我分析推测网络上各篇文章分别都写了些啥主题,且各篇文章中各个主题出现的概率大小(主题分布)是啥。
然,就是这么一个看似普通的LDA,一度吓退了不少想深入探究其内部原理的初学者。难在哪呢,难就难在LDA内部涉及到的数学知识点太多了。
在LDA模型中,一篇文档生成的方式如下:
其中,类似Beta分布是二项式分布的共轭先验概率分布,而狄利克雷分布(Dirichlet分布)是多项式分布的共轭先验概率分布。 此外,LDA的图模型结构如下图所示(类似贝叶斯网络结构): 恩,不错,短短6句话整体概括了整个LDA的主体思想!但也就是上面短短6句话,却接连不断或重复出现了二项分布、多项式分布、beta分布、狄利克雷分布(Dirichlet分布)、共轭先验概率分布、取样,那么请问,这些都是啥呢? 这里先简单解释下二项分布、多项分布、beta分布、Dirichlet 分布这4个分布。
二项分布是从伯努利分布推进的。伯努利分布,又称两点分布或0-1分布,是一个离散型的随机分布,其中的随机变量只有两类取值,非正即负{+,-}。而二项分布即重复n次的伯努利试验,记为 。简言之,只做一次实验,是伯努利分布,重复做了n次,是二项分布。二项分布的概率密度函数为:
对于k = 0, 1, 2, ..., n,其中的是二项式系数(这就是二项分布的名称的由来),又记为。回想起高中所学的那丁点概率知识了么:想必你当年一定死记过这个二项式系数就是。
多项分布是指单次试验中的随机变量的取值不再是0-1的,而是有多种离散值可能(1,2,3...,k)。比如投掷6个面的骰子实验,N次实验结果服从K=6的多项分布。其中
多项分布的概率密度函数为:
给定参数和,取值范围为[0,1]的随机变量 x 的概率密度函数:
其中:
注:便是所谓的gamma函数,下文会具体阐述。
Dirichlet分布的的密度函数形式跟beta分布的密度函数如出一辙:
其中
至此,我们可以看到二项分布和多项分布很相似,Beta分布和Dirichlet 分布很相似,而至于“Beta分布是二项式分布的共轭先验概率分布,而狄利克雷分布(Dirichlet分布)是多项式分布的共轭先验概率分布”这点在下文中说明。
OK,接下来,咱们就按照本文开头所说的思路:“一个函数:gamma函数,四个分布:二项分布、多项分布、beta分布、Dirichlet分布,外加一个概念和一个理念:共轭先验和贝叶斯框架,两个模型:pLSA、LDA(文档-主题,主题-词语),一个采样:Gibbs采样”一步步详细阐述,争取给读者一个尽量清晰完整的LDA。 (当然,如果你不想深究背后的细节原理,只想整体把握LDA的主体思想,可直接跳到本文第4 部分,看完第4部分后,若还是想深究背后的细节原理,可再回到此处开始看) 1.1 gamma函数咱们先来考虑一个问题(此问题1包括下文的问题2-问题4皆取材自LDA数学八卦):
为解决这个问题,可以尝试计算落在区间[x,x+Δx]的概率。即求下述式子的值: 首先,把 [0,1] 区间分成三段 [0,x),[x,x+Δx],(x+Δx,1],然后考虑下简单的情形:即假设n 个数中只有1个落在了区间 [x,x+Δx]内,由于这个区间内的数X(k)是第k大的,所以[0,x)中应该有 k?1 个数,(x+Δx,1] 这个区间中应该有n?k 个数。如下图所示:
从而问题转换为下述事件E:
对于上述事件E,有:
其中,o(Δx)表示Δx的高阶无穷小。显然,由于不同的排列组合,即n个数中有一个落在 [x,x+Δx]区间的有n种取法,余下n?1个数中有k?1个落在[0,x)的有种组合,所以和事件E等价的事件一共有个。
如果有2个数落在区间[x,x+Δx]呢?如下图所示:
类似于事件E,对于2个数落在区间[x,x+Δx]的事件E’:
有:
从上述的事件E、事件E‘中,可以看出,只要落在[x,x+Δx]内的数字超过一个,则对应的事件的概率就是 o(Δx)。于是乎有:
从而得到的概率密度函数为:
至此,本节开头提出的问题得到解决。然仔细观察的概率密度函数,发现式子的最终结果有阶乘,联想到阶乘在实数上的推广函数: 两者结合是否会产生奇妙的效果呢?考虑到具有如下性质: 故将代入到的概率密度函数中,可得: 然后取,,转换得到: 如果熟悉beta分布的朋友,可能会惊呼:哇,竟然推出了beta分布! 2 beta分布2.1 beta分布
其中的便是函数:
随机变量X服从参数为的beta分布通常写作:。
2.2 Beta-Binomial 共轭
回顾下1.1节开头所提出的问题:“问题1 随机变量,把这n 个随机变量排序后得到顺序统计量,然后请问的分布是什么。” 如果,咱们要在这个问题的基础上增加一些观测数据,变成问题2:
根据“Yi中有个比小,个比大”,换言之,Yi中有个比小,个比大,所以是中第大的数。
根据1.1节最终得到的结论“只要落在[x,x+Δx]内的数字超过一个,则对应的事件的概率就是 o(Δx)”,继而推出事件服从beta分布,从而可知的概率密度函数为:
熟悉贝叶斯方法(不熟悉的没事,参见此文第一部分)的朋友心里估计又犯“嘀咕”了,这不就是贝叶斯式的思考过程么?
回顾下贝叶斯派思考问题的固定模式:
上述思考模式意味着,新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布,在得到新的样本信息后,人们对的认知为。
类比到现在这个问题上,我们也可以试着写下:
其中对应的是二项分布的计数。
更一般的,对于非负实数和,我们有如下关系
针对于这种观测到的数据符合二项分布,参数的先验分布和后验分布都是Beta分布的情况,就是Beta-Binomial共轭。换言之,Beta分布是二项式分布的共轭先验概率分布。 二项分布和Beta分布是共轭分布意味着,如果我们为二项分布的参数p选取的先验分布是Beta分布,那么以p为参数的二项分布用贝叶斯估计得到的后验分布仍然服从Beta分布。
此外,如何理解参数和所表达的意义呢?、可以认为形状参数,通俗但不严格的理解是,和共同控制Beta分布的函数“长的样子”:形状千奇百怪,高低胖瘦,如下图所示:
2.3 共轭先验分布
什么又是共轭呢?轭的意思是束缚、控制,共轭从字面上理解,则是共同约束,或互相约束。
在贝叶斯概率理论中,如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律,那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验分布。
比如,某观测数据服从概率分布P(θ)时,当观测到新的X数据时,我们一般会遇到如下问题:
事实上,根据根据贝叶斯公式可知:
其中,P(x|θ)表示以预估θ为参数的x概率分布,可以直接求得,P(θ)是已有原始的θ概率分布。
所以,如果我们选取P(x|θ)的共轭先验作为P(θ)的分布,那么P(x|θ)乘以P(θ),然后归一化的结果P(θ|x)跟和P(θ)的形式一样。换句话说,先验分布是P(θ),后验分布是P(θ|x),先验分布跟后验分布同属于一个分布族,故称该分布族是θ的共轭先验分布(族)。
举个例子。投掷一个非均匀硬币,可以使用参数为θ的伯努利模型,θ为硬币为正面的概率,那么结果x的分布形式为:
其共轭先验为beta分布,具有两个参数和,称为超参数(hyperparameters)。且这两个参数决定了θ参数,其Beta分布形式为
然后计算后验概率
归一化这个等式后会得到另一个Beta分布,从而证明了Beta分布确实是伯努利分布的共轭先验分布。
2.4 从beta分布推广到Dirichlet 分布
接下来,咱们来考察beta分布的一个性质。
如果,则有:
注意到上式最后结果的右边积分
其类似于概率分布,而对于这个分布有
从而求得
的结果为
最后将此结果带入的计算式,得到:
最后的这个结果意味着对于Beta 分布的随机变量,其均值(期望)可以用来估计。此外,狄利克雷Dirichlet 分布也有类似的结论,即如果,同样可以证明有下述结论成立: 那什么是Dirichlet 分布呢?简单的理解Dirichlet 分布就是一组连续多变量概率分布,是多变量普遍化的beta分布。为了纪念德国数学家约翰·彼得·古斯塔夫·勒热纳·狄利克雷(Peter Gustav Lejeune Dirichlet)而命名。狄利克雷分布常作为贝叶斯统计的先验概率。 3 Dirichlet 分布3.1 Dirichlet 分布根据wikipedia上的介绍,维度K ≥ 2(x1,x2…xK-1维,共K个)的狄利克雷分布在参数α1, ..., αK > 0上、基于欧几里得空间RK-1里的勒贝格测度有个概率密度函数,定义为: 其中,相当于是多项beta函数 且 此外,x1+x2+…+xK-1+xK=1,x1,x2…xK-1>0,且在(K-1)维的单纯形上,其他区域的概率密度为0。 当然,也可以如下定义Dirichlet 分布 其中的称为Dirichlet 分布的归一化系数:
且根据Dirichlet分布的积分为1(概率的基本性质),可以得到:
3.2 Dirichlet-Multinomial 共轭下面,在2.2节问题2的基础上继续深入,引出问题3。
为了简化计算,取x3满足x1+x2+x3=1,但只有x1,x2是变量,如下图所示:
从而有: 继而得到于是我们得到的联合分布为: 观察上述式子的最终结果,可以看出上面这个分布其实就是3维形式的 Dirichlet 分布 令,于是分布密度可以写为 这个就是一般形式的3维 Dirichlet 分布,即便延拓到非负实数集合,以上概率分布也是良定义的。 将Dirichlet分布的概率密度函数取对数,绘制对称Dirichlet分布的图像如下图所示(截取自wikipedia上): 上图中,取K=3,也就是有两个独立参数x1,x2,分别对应图中的两个坐标轴,第三个参数始终满足x3=1-x1-x2且α1=α2=α3=α,图中反映的是参数α从α=(0.3, 0.3, 0.3)变化到(2.0, 2.0, 2.0)时的概率对数值的变化情况。 为了论证Dirichlet分布是多项式分布的共轭先验概率分布,下面咱们继续在上述问题3的基础上再进一步,提出问题4。
为了方便讨论,记,及,根据已知条件“,Yi中落到,, 三个区间的个数分别为 m1,m2”,可得、分别是这m+n个数中第大、第大的数。于是,后验分布应该为,即一般化的形式表示为:。 同样的,按照贝叶斯推理的逻辑,可将上述过程整理如下:
上述贝叶斯分析过程的直观表述为: 令,可把从整数集合延拓到实数集合,从而得到更一般的表达式如下:
针对于这种观测到的数据符合多项分布,参数的先验分布和后验分布都是Dirichlet 分布的情况,就是Dirichlet-Multinomial 共轭。换言之,至此已经证明了Dirichlet分布的确就是多项式分布的共轭先验概率分布。
意味着,如果我们为多项分布的参数p选取的先验分布是Dirichlet分布,那么以p为参数的多项分布用贝叶斯估计得到的后验分布仍然服从Dirichlet分布。
进一步,一般形式的Dirichlet 分布定义如下:
而对于给定的和,其多项分布为:
结论是:Dirichlet分布和多项分布是共轭关系。
4 主题模型LDA在开始下面的旅程之前,先来总结下我们目前所得到的最主要的几个收获:
OK,在杀到终极boss——LDA模型之前,再循序渐进理解基础模型:Unigram model、mixture of unigrams model,以及跟LDA最为接近的pLSA模型。 为了方便描述,首先定义一些变量:
4.1 各个基础模型4.1.1 Unigram model其图模型为(图中被涂色的w表示可观测变量,N表示一篇文档中总共N个单词,M表示M篇文档): 或为: unigram model假设文本中的词服从Multinomial分布,而我们已经知道Multinomial分布的先验分布为Dirichlet分布。
一般α由经验事先给定,p由观察到的文本中出现的词学习得到,表示文本中出现每个词的概率。 4.1.2 Mixture of unigrams model
该模型的生成过程是:给某个文档先选择一个主题,再根据该主题生成文档,该文档中的所有词都来自一个主题。假设主题有,生成文档的概率为:
其图模型为(图中被涂色的w表示可观测变量,未被涂色的z表示未知的隐变量,N表示一篇文档中总共N个单词,M表示M篇文档):
4.2 PLSA模型
啊哈,长征两万五,经过前面这么长的铺垫,终于快要接近LDA模型了!因为跟LDA模型最为接近的便是下面要阐述的这个pLSA模型,理解了pLSA模型后,到LDA模型也就一步之遥——给pLSA加上贝叶斯框架,便是LDA。
4.2.1 pLSA模型下生成文档
OK,在上面的Mixture of unigrams model中,我们假定一篇文档只由一个主题生成,可实际中,一篇文章往往有多个主题,只是这多个主题各自在文档中出现的概率大小不一样。比如介绍一个国家的文档中,往往会分别从教育、经济、交通等多个主题进行介绍。那么在pLSA中,文档是怎样被生成的呢?
假设你要写M篇文档,由于一篇文档由各个不同的词组成,所以你需要确定每篇文档里每个位置上的词。
再假定你一共有K个可选的主题,有V个可选的词,咱们来玩一个扔骰子的游戏。
上述过程抽象出来即是PLSA的文档生成模型。在这个过程中,我们并未关注词和词之间的出现顺序,所以pLSA是一种词袋方法。具体说来,该模型假设一组共现(co-occurrence)词项关联着一个隐含的主题类别。同时定义:
利用上述的第1、3、4个概率,我们便可以按照如下的步骤得到“文档-词项”的生成模型:
所以pLSA中生成文档的整个过程便是选定文档生成主题,确定主题生成词。
4.2.1 根据文档反推其主题分布
反过来,既然文档已经产生,那么如何根据已经产生好的文档反推其主题呢?这个利用看到的文档推断其隐藏的主题(分布)的过程(其实也就是产生文档的逆过程),便是主题建模的目的:自动地发现文档集中的主题(分布)。
换言之,人类根据文档生成模型写成了各类文章,然后丢给了计算机,相当于计算机看到的是一篇篇已经写好的文章。现在计算机需要根据一篇篇文章中看到的一系列词归纳出当篇文章的主题,进而得出各个主题各自不同的出现概率:主题分布。即文档d和单词w是可被观察到的,但主题z却是隐藏的。
如下图所示(图中被涂色的d、w表示可观测变量,未被涂色的z表示未知的隐变量,N表示一篇文档中总共N个单词,M表示M篇文档):
上图中,文档d和词w是我们得到的样本(样本随机,参数虽未知但固定,所以pLSA属于频率派思想。区别于下文要介绍的LDA中:样本固定,参数未知但不固定,是个随机变量,服从一定的分布,所以LDA属于贝叶斯派思想),可观测得到,所以对于任意一篇文档,其是已知的。
从而可以根据大量已知的文档-词项信息,训练出文档-主题和主题-词项,如下公式所示:
故得到文档中每个词的生成概率为:
由于可事先计算求出,而和未知,所以就是我们要估计的参数(值),通俗点说,就是要最大化这个θ。 用什么方法进行估计呢,常用的参数估计方法有极大似然估计MLE、最大后验证估计MAP、贝叶斯估计等等。因为该待估计的参数中含有隐变量z,所以我们可以考虑EM算法。 4.2.1.1 EM算法的简单介绍EM算法,全称为Expectation-maximization algorithm,为期望最大算法,其基本思想是:首先随机选取一个值去初始化待估计的值,然后不断迭代寻找更优的使得其似然函数likelihood 比原来的要大。换言之,假定现在得到了,想求,使得 EM的关键便是要找到的一个下界(注:,其中,X表示已经观察到的随机变量),然后不断最大化这个下界,通过不断求解下界的极大化,从而逼近要求解的似然函数。 所以EM算法的一般步骤为:
上述过程好比在二维平面上,有两条不相交的曲线,一条曲线在上(简称上曲线),一条曲线在下(简称下曲线),下曲线为上曲线的下界。现在对上曲线未知,只已知下曲线,为了求解上曲线的最高点,我们试着不断增大下曲线,使得下曲线不断逼近上曲线,下曲线在某一个点达到局部最大值并与上曲线在这点的值相等,记录下这个值,然后继续增大下曲线,寻找下曲线上与上曲线上相等的值,迭代到收敛(即收敛)停止,从而利用当前下曲线上的局部最大值当作上曲线的全局最大值(换言之,EM算法不保证一定能找到全局最优值)。如下图所示: 以下是详细介绍。 假定有训练集,包含m个独立样本,希望从中找到该组数据的模型p(x,z)的参数。 然后通过极大似然估计建立目标函数--对数似然函数: 这里,z是隐随机变量,直接找到参数的估计是很困难的。我们的策略是建立的下界,并且求该下界的最大值;重复这个过程,直到收敛到局部最大值。 令Qi是z的某一个分布,Qi≥0,且结合Jensen不等式,有: 为了寻找尽量紧的下界,我们可以让使上述等号成立,而若要让等号成立的条件则是: 换言之,有以下式子成立:,且由于有: 所以可得: 最终得到EM算法的整体框架如下: OK,EM算法还会在本博客后面的博文中具体阐述。接下来,回到pLSA参数的估计问题上。 4.2.1.2 EM算法估计pLSA的两未知参数
这样,巧妙的把和转换成了两个矩阵。换言之,最终我们要求解的参数是这两个矩阵: 由于词和词之间是相互独立的,所以整篇文档N个词的分布为: 再由于文档和文档之间也是相互独立的,所以整个语料库中词的分布为(整个语料库M篇文档,每篇文档N个词): 其中,表示词项在文档中的词频,表示文档di中词的总数,显然有。 现在,我们需要最大化上述这个对数似然函数来求解参数和。对于这种含有隐变量的最大似然估计,可以使用EM算法。EM算法,分为两个步骤:先E-step,后M-step。
利用贝叶斯法则,可以得到:
观察之前得到的对数似然函数的结果,由于文档长度可以单独计算,所以去掉它不影响最大化似然函数。此外,根据E-step的计算结果,把 代入,于是我们只要最大化下面这个函数 即可(下述公式中有个小错误,正确的应该是:N为M,M为N): 这是一个多元函数求极值问题,并且已知有如下约束条件(下述公式中有个小错误,正确的应该是:M为N): 熟悉凸优化的朋友应该知道,一般处理这种带有约束条件的极值问题,常用的方法便是拉格朗日乘数法,即通过引入拉格朗日乘子将约束条件和多元(目标)函数融合到一起,转化为无约束条件的极值问题。 这里我们引入两个拉格朗日乘子和,从而写出拉格朗日函数(下述公式中有个小错误,正确的应该是:N为M,M为N): 因为我们要求解的参数是和,所以分别对和求偏导,然后令偏导结果等于0,得到(下述公式中有个小错误,正确的应该是:N为M,M为N): 消去拉格朗日乘子,最终可估计出参数和(下述公式中有个小错误,正确的应该是:N为M,M为N): 综上,在pLSA中:
4.3 LDA模型事实上,理解了pLSA模型,也就差不多快理解了LDA模型,因为LDA就是在pLSA的基础上加层贝叶斯框架,即LDA就是pLSA的贝叶斯版本(正因为LDA被贝叶斯化了,所以才需要考虑历史先验知识,才加的两个先验参数)。 4.3.1 pLSA跟LDA的对比:生成文档与参数估计在pLSA模型中,我们按照如下的步骤得到“文档-词项”的生成模型:
下面,咱们对比下本文开头所述的LDA模型中一篇文档生成的方式是怎样的:
从上面两个过程可以看出,LDA在PLSA的基础上,为主题分布和词分布分别加了两个Dirichlet先验。 继续拿之前讲解PLSA的例子进行具体说明。如前所述,在PLSA中,选主题和选词都是两个随机的过程,先从主题分布{教育:0.5,经济:0.3,交通:0.2}中抽取出主题:教育,然后从该主题对应的词分布{大学:0.5,老师:0.3,课程:0.2}中抽取出词:大学。
而在LDA中,选主题和选词依然都是两个随机的过程,依然可能是先从主题分布{教育:0.5,经济:0.3,交通:0.2}中抽取出主题:教育,然后再从该主题对应的词分布{大学:0.5,老师:0.3,课程:0.2}中抽取出词:大学。
那PLSA跟LDA的区别在于什么地方呢?区别就在于:
看到这,你可能凌乱了,你说面对多个主题或词,各个主题或词被抽中的概率不一样,所以抽取主题或词是随机抽取,还好理解。但现在你说主题分布和词分布本身也都是不确定的,这是怎么回事?没办法,谁叫Blei等人“强行”给PLSA安了个贝叶斯框架呢,正因为LDA是PLSA的贝叶斯版本,所以主题分布跟词分布本身由先验知识随机给定。
进一步,你会发现:
换言之,LDA在pLSA的基础上给这两参数(、)加了两个先验分布的参数(贝叶斯化):一个主题分布的先验分布Dirichlet分布,和一个词语分布的先验分布Dirichlet分布。
综上,LDA真的只是pLSA的贝叶斯版本,文档生成后,两者都要根据文档去推断其主题分布和词语分布(即两者本质都是为了估计给定文档生成主题,给定主题生成词语的概率),只是用的参数推断方法不同,在pLSA中用极大似然估计的思想去推断两未知的固定参数,而LDA则把这两参数弄成随机变量,且加入dirichlet先验。
所以,pLSA跟LDA的本质区别就在于它们去估计未知参数所采用的思想不同,前者用的是频率派思想,后者用的是贝叶斯派思想。
好比,我去一朋友家:
OK,相信已经解释清楚了。如果是在机器学习班上face-to-face,更好解释和沟通。
4.3.2 LDA生成文档过程的进一步理解
上面说,LDA中,主题分布 —— 比如{ P(zi), i =1,2,3 }等于{0.4,0.5,0.1}或{0.2,0.2,0.6} —— 是由dirichlet先验给定的,不是根据文档产生的。所以,LDA生成文档的过程中,先从dirichlet先验中“随机”抽取出主题分布,然后从主题分布中“随机”抽取出主题,最后从确定后的主题对应的词分布中“随机”抽取出词。
那么,dirichlet先验到底是如何“随机”抽取主题分布的呢?
事实上,从dirichlet分布中随机抽取主题分布,这个过程不是完全随机的。为了说清楚这个问题,咱们得回顾下dirichlet分布。事实上,如果我们取3个事件的话,可以建立一个三维坐标系,类似xyz三维坐标系,这里,我们把3个坐标轴弄为p1、p2、p3,如下图所示:
在这个三维坐标轴所划分的空间里,每一个坐标点(p1,p2,p3)就对应着一个主题分布,且某一个点(p1,p2,p3)的大小表示3个主题z1、z2、z3出现的概率大小(因为各个主题出现的概率和为1,所以p1+p2+p3 = 1,且p1、p2、p3这3个点最大取值为1)。比如(p1,p2,p3) = (0.4,0.5,0.1)便对应着主题分布{ P(zi), i =1,2,3 } = {0.4,0.5,0.1}。 可以想象到,空间里有很多这样的点(p1,p2,p3),意味着有很多的主题分布可供选择,那dirichlet分布如何选择主题分布呢?把上面的斜三角形放倒,映射到底面的平面上,便得到如下所示的一些彩图(3个彩图中,每一个点对应一个主题分布,高度代表某个主题分布被dirichlet分布选中的概率,且选不同的,dirichlet 分布会偏向不同的主题分布):
我们来看上图中左边这个图,高度就是代表dirichlet分布选取某个坐标点(p1,p2,p3)(这个点就是一个主题分布)的概率大小。如下图所示,平面投影三角形上的三个顶点上的点:A=(0.9,0.05,0.05)、B=(0.05,0.9,0.05)、C=(0.05,0.05,0.9)各自对应的主题分布被dirichlet分布选中的概率值很大,而平面三角形内部的两个点:D、E对应的主题分布被dirichlet分布选中的概率值很小。
所以虽然说dirichlet分布是随机选取任意一个主题分布的,但依然存在着P(A) = P(B) = P(C) >> P(D) = P(E),即dirichlet分布还是“偏爱”某些主题分布的。至于dirichlet分布的参数是如何决定dirichlet分布的形状的,可以从dirichlet分布的定义和公式思考。
此外,就算说“随机”选主题也是根据主题分布来“随机”选取,这里的随机不是完全随机的意思,而是根据各个主题出现的概率值大小来抽取。比如当dirichlet先验为文档d生成的主题分布{ P(zi), i =1,2,3 }是{0.4,0.5,0.1}时,那么主题z2在文档d中出现的概率便是0.5。所以,从主题分布中抽取主题,这个过程也不是完全随机的,而是按照各个主题出现的概率值大小进行抽取。
4.3.3 pLSA跟LDA的概率图对比
接下来,对比下LDA跟pLSA的概率模型图模型,左图是pLSA,右图是LDA(右图不太规范,z跟w都得是小写, 其中,阴影圆圈表示可观测的变量,非阴影圆圈表示隐变量,箭头表示两变量间的条件依赖性conditional dependency,方框表示重复抽样,方框右下角的数字代表重复抽样的次数):
对应到上面右图的LDA,只有W / w是观察到的变量,其他都是隐变量或者参数,其中,Φ表示词分布,Θ表示主题分布, 是主题分布Θ的先验分布(即Dirichlet 分布)的参数,是词分布Φ的先验分布(即Dirichlet 分布)的参数,N表示文档的单词总数,M表示文档的总数。
所以,对于一篇文档d中的每一个单词,LDA根据先验知识确定某篇文档的主题分布θ,然后从该文档所对应的多项分布(主题分布)θ中抽取一个主题z,接着根据先验知识确定当前主题的词语分布?,然后从主题z所对应的多项分布(词分布)?中抽取一个单词w。然后将这个过程重复N次,就产生了文档d。
换言之:
综上,M 篇文档会对应于 M 个独立的 Dirichlet-Multinomial 共轭结构,K 个 topic 会对应于 K 个独立的 Dirichlet-Multinomial 共轭结构。
4.3.4 pLSA跟LDA参数估计方法的对比
上面对比了pLSA跟LDA生成文档的不同过程,下面,咱们反过来,假定文档已经产生,反推其主题分布。那么,它们估计未知参数所采用的方法又有什么不同呢?
由于LDA把要估计的主题分布和词分布看作是其先验分布是Dirichlet分布的随机变量,所以,在LDA这个估计主题分布、词分布的过程中,它们的先验分布(即Dirichlet分布)事先由人为给定,那么LDA就是要去求它们的后验分布(LDA中可用gibbs采样去求解它们的后验分布,得到期望、)!
此外,不厌其烦的再插一句,在LDA中,主题分布和词分布本身都是多项分布,而由上文3.2节可知“Dirichlet分布是多项式分布的共轭先验概率分布”,因此选择Dirichlet 分布作为它们的共轭先验分布。意味着为多项分布的参数p选取的先验分布是Dirichlet分布,那么以p为参数的多项分布用贝叶斯估计得到的后验分布仍然是Dirichlet分布。
4.3.5 LDA参数估计:Gibbs采样理清了LDA中的物理过程,下面咱们来看下如何学习估计。 类似于pLSA,LDA的原始论文中是用的变分-EM算法估计未知参数,后来发现另一种估计LDA未知参数的方法更好,这种方法就是:Gibbs Sampling,有时叫Gibbs采样或Gibbs抽样,都一个意思。Gibbs抽样是马尔可夫链蒙特卡尔理论(MCMC)中用来获取一系列近似等于指定多维概率分布(比如2个或者多个随机变量的联合概率分布)观察样本的算法。 OK,给定一个文档集合,w是可以观察到的已知变量,和是根据经验给定的先验参数,其他的变量z,θ和φ都是未知的隐含变量,需要根据观察到的变量来学习估计的。根据LDA的图模型,可以写出所有变量的联合分布: 注:上述公式中及下文中,等价上文中定义的,等价于上文中定义的,等价于上文中定义的,等价于上文中定义的。 因为产生主题分布θ,主题分布θ确定具体主题,且产生词分布φ、词分布φ确定具体词,所以上述式子等价于下述式子所表达的联合概率分布: 其中,第一项因子表示的是根据确定的主题和词分布的先验分布参数采样词的过程,第二项因子是根据主题分布的先验分布参数采样主题的过程,这两项因子是需要计算的两个未知参数。 由于这两个过程是独立的,所以下面可以分别处理,各个击破。 第一个因子,可以根据确定的主题和从先验分布取样得到的词分布Φ产生: 由于样本中的词服从参数为主题的独立多项分布,这意味着可以把上面对词的乘积分解成分别对主题和对词的两层乘积: 其中,是词 t 在主题 k 中出现的次数。 回到第一个因子上来。目标分布需要对词分布Φ积分,且结合我们之前在3.1节定义的Dirichlet 分布的归一化系数的公式 可得: 这个结果可以看作K个Dirichlet-Multinomial模型的乘积。 其中, 表示的单词 i 所属的文档,是主题 k 在文章 m 中出现的次数。 对主题分布Θ积分可得: 综合第一个因子和第二个因子的结果,得到的联合分布结果为:
接下来,有了联合分布,咱们便可以通过联合分布来计算在给定可观测变量 w 下的隐变量 z 的条件分布(后验分布)来进行贝叶斯分析。
换言之,有了这个联合分布后,要求解第m篇文档中的第n个词(下标为的词)的全部条件概率就好求了。
先定义几个变量。表示除去的词,,。
然后,排除当前词的主题分配,即根据其他词的主题分配和观察到的单词来计算当前词主题的概率公式为:
勘误:考虑到,所以上述公式的第二行的分子,非p(w,z) *p(z),而是p(w|z)*p(z)。
且有:
最后一步,便是根据Markov链的状态获取主题分布的参数Θ和词分布的参数Φ。
换言之根据贝叶斯法则和Dirichlet先验,以及上文中得到的和各自被分解成两部分乘积的结果,可以计算得到每个文档上Topic的后验分布和每个Topic下的词的后验分布分别如下(据上文可知:其后验分布跟它们的先验分布一样,也都是Dirichlet 分布):
其中,是构成文档m的主题数向量,是构成主题k的词项数向量。
此外,别忘了上文中2.4节所述的Dirichlet的一个性质,如下:
“ 如果,同样可以证明有下述结论成立:
即:如果,则中的任一元素的期望是:
可以看出,超参数的直观意义就是事件先验的伪计数(prior pseudo-count)。 ”
所以,最终求解的Dirichlet 分布期望为:
然后将和的结果代入之前得到的的结果中,可得:
仔细观察上述结果,可以发现,式子的右半部分便是,这个概率的值对应着的路径概率。如此,K 个topic 对应着K条路径,Gibbs Sampling 便在这K 条路径中进行采样,如下图所示:
何等奇妙,就这样,Gibbs Sampling通过求解出主题分布和词分布的后验分布,从而成功解决主题分布和词分布这两参数未知的问题。
5 读者微评
本文发表后,部分热心的读者在微博上分享了他们自己理解LDA的心得,也欢迎更多朋友分享你的理解心得(比如评论在本文下,或评论在微博上),从而在分享、讨论的过程中让更多人可以更好的理解:
6 参考文献与推荐阅读
7 后记
这个LDA的笔记从11月17日下午开始动笔,到21日基本写完,25日基本改完,前前后后,基本写完 + 基本改完,总共花了近10 天的时间,后面还得不断完善。前5天就像在树林里中行走,要走的大方向非常明确,但在选取哪条小道上则颇费了一番周折,但当最后走出了树林,登上山顶,俯瞰整个森林时,奥,原来它就长这样,会有一种彻爽的感觉!而后5 天,则慢慢开始接近LDA的本质:pLSA的贝叶斯版本。
写作过程艰难但结果透彻,也希望读者能享受到其中。
最后,再次感谢本文最主要的参考:LDA原始论文、pLSA原始论文、LDA数学八卦、机器学习班第12次课主题模型PPT,和Parameter estimation for text analysis等等的作者们(本文中大部分的图片、公式截取自这些参考资料上),因为有他们的创造或分享,我才有机会理解和再加工LDA,最终让本文得以成文。
后续几天会不断修改完善本文,若有任何问题,可在本文下评论,thanks。
|
通俗理解LDA主题模型相关推荐
- LDA通俗理解LDA主题模型
转自:http://blog.csdn.net/v_july_v/article/details/41209515#t13 通俗理解LDA主题模型 0 前言 印象中,最开始听说"LDA&qu ...
- 通俗理解LDA主题模型(转载自 v_JULY_v 大佬)
通俗理解LDA主题模型 原文:https://blog.csdn.net/v_july_v/article/details/41209515 0 前言 印象中,最开始听说"LDA" ...
- 通俗理解LDA主题模型(转)
from :http://blog.csdn.net/v_july_v/article/details/41209515 也推荐:LDA漫步指南 通俗理解LDA主题模型 0 前言 印象中,最开始听说& ...
- NLP系列笔记:通俗理解LDA主题模型
0 前言 印象中,最开始听说"LDA"这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是 ...
- 理解 LDA 主题模型
前言 gamma函数 0 整体把握LDA 1 gamma函数 beta分布 1 beta分布 2 Beta-Binomial 共轭 3 共轭先验分布 4 从beta分布推广到Dirichlet 分布 ...
- LDA主题模型简介及Python实现
一.LDA主题模型简介 LDA主题模型主要用于推测文档的主题分布,可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题聚类或文本分类. LDA主题模型不关心文档中单词的顺序,通常使用词袋特 ...
- LDA主题模型及python实现
LDA(Latent Dirichlet Allocation)中文翻译为:潜在狄利克雷分布.LDA主题模型是一种文档生成模型,是一种非监督机器学习技术.它认为一篇文档是有多个主题的,而每个主题又对应 ...
- lda主题模型困惑度_机器学习-LDA主题模型笔记
LDA常见的应用方向: 信息提取和搜索(语义分析):文档分类/聚类.文章摘要.社区挖掘:基于内容的图像聚类.目标识别(以及其他计算机视觉应用):生物信息数据的应用; 对于朴素贝叶斯模型来说,可以胜任许 ...
- lda主题模型python_LDA主题模型及python实现
LDA(Latent Dirichlet Allocation)中文翻译为:潜在狄利克雷分布.LDA主题模型是一种文档生成模型,是一种非监督机器学习技术.它认为一篇文档是有多个主题的,而每个主题又对应 ...
最新文章
- DASH流媒体MPD文件解析
- 2018,开工第一天
- 二、Go语言基础入门
- 经典指针程序互换(一)
- 大信会计师事务所笔试题目_最新会计师事务所排名发布!CPA过两科的有机会了...
- 你需要的是持续的服务改进 1
- Command “python setup.py egg_info“ failed with error code 1 in C:\Users\始末\AppData\Local\Temp\pip-b
- Cesium加载GeoServer发布的SHP和GeoTIFF文件
- 格式转换------用C#代码生成一个简单的PDF文件
- Java集合容器面试题(2022版本)
- 安卓python编辑器-10 个平板电脑上的 Python 编辑器
- idea git 各种颜色代表的含义
- JavaScript 一些小妙用
- 下一个独角兽!橙色云用互联网设计变革传统工业设计模式
- CCPC-Wannafly Comet OJ 夏季欢乐赛(2019)A——完全k叉树
- css基础语法与注释,简述CSS注释
- 车间动态调度的研究方法
- SAP 销售订单中的成本中心
- 计量经济学导论 计算机实验,伍德里奇计量经济学导论计算机习题第六章第13题c_6.13...
- windows 7 RDP 增强
热门文章
- 【看图识算法】这是你见过最简单的 “算法说明书”
- GUI应用程序架构的十年变迁:MVC,MVP,MVVM,Unidirectional,Clean
- JVM:类加载机制之类加载器
- 解决springdatajpa 在解析实体类的字段时候驼峰自动转为下划线问题
- Vue 之 qs.parse()、qs.stringify()使用方法
- fn hotkeys and osd_潍坊实习生活(3)and 绊 最后的进化
- c语言fgetpos的参数,C语言fgetpos()函数:获得当前文件的读写指针(转)
- php类型优先级_PHP: 运算符优先级 - Manual
- UPS蓄电池的内阻没有参考值,如何才能发现劣化蓄电池?
- 三甲医院需要部署哪些网络安全设备