主题模型简介（topic model）

定义

对于一个文档集合来说，假如一篇文章是讲猫科动物的，那么可能会一部分讲猫，一部分讲老虎，一部分讲猎豹。那么讲猫的那一部分与猫有关的词语出现的频率应该高一些，比如“鱼”，“老鼠”等，讲老虎的那一部分与老虎有关的词语出现的频率应该高些，比如“森林之王”，“一山不容二虎”等，讲猎豹那一部分与猎豹有关的词语出现的频率应该高些，比如"速度"，“豹纹”等等。所以一篇文档应该有多个主题，每个主题的比例不同，每一个主题下面也应该有很多词语，每个词语的比例也不同。

主题模型就是用数学框架来体现出文档的这种特点，主题模型自动分析每篇文档，统计文档内的词语，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。

从上面的定义可以看出，主题模型其实主要在学习两个分布，文档-主题分布（doc-topic）和主题-词分布（topic-word）。既然是分布就要满足两个条件，第一是非负性，第二是积分或者求和为1。也就是doc-topic矩阵或topic-word矩阵中，任意一行元素均为非负数且元素和为1。

研究模型

对于主题模型的研究其实很早就开始了，传统的代表性研究方法主要包括3个：潜在语义索引（LSA或LSI）,概率性潜在语义索引（PLSA或PLSI）和隐含狄利克雷分配（LDA）。
上面三个模型分别与1998年，1999年和2003年提出，查资料发现，LDA的提出者里还有吴恩达。

后面的很多模型其实都是在LDA的基础上做的改进，主要有下面两个。

LDA也有一些缺点，比如LDA无法建模主题之间的相关性，所以有人针对这个问题于2007年提出了correlated topic model。LDA是无监督模型，但是有一些文本是有标签的，比如论文有关键词，那么关键词应该对主题有一定的约束，有人针对这个问题于2009年提出了Labeled LDA。

15年之后深度学习就开始大火了，所以有人将LDA和变分自编码器结合起来，使用神经网络来求解变分参数。主流的模型有NVDM，prodLDA和NTMR，分别于16年，17年，18年发表在ICML，ICLR和EMNLP上面。

下面我会分别更新LSA，PLSA和LDA等主题模型的讲解。

主题模型简介（topic model）相关推荐

双稀疏主题模型(Dual-Sparse Topic Model)编程实现中的细节 Java
本文作者:合肥工业大学电子商务研究所钱洋 email:1563178220@qq.com . 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章目录论文来源相关介绍单稀疏模型双稀 ...
主题模型简介（Topic Models）
主题模型简介(Topic Models) 要想更好地管理当今爆炸式的电子文档档案,需要使用新的技术或工具来处理自动组织.搜索.索引和浏览大型电子文档集合.在当今机器学习和统计学研究的基础上,利用层次概 ...
LDA主题模型简介及Python实现
一.LDA主题模型简介 LDA主题模型主要用于推测文档的主题分布,可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题聚类或文本分类. LDA主题模型不关心文档中单词的顺序,通常使用词袋特 ...
作者主题模型（Author-Topic Model）的Python Gensim实现
Gensim中的主题模型包括三种,分别是LDA (Latent Dirichlet Allocation) 主题模型.加入了作者因素的作者主题模型 (Author-Topic Model, ATM) ...
主题模型（topic models）总结
主题模型(topic models)总结相关主题模型(CTM)是一种用于自然语言处理和机器学习的统计模型.相关主题模型(CTM)用于发现一组文档中显示的主题. CTM的关键是logistic正态分布 ...
主题模型（topic models）解释及评估
主题模型(topic models)解释及评估目录主题模型(topic models)解释及评估主题解释及评估展示主题标记主题<
概率主题模型简介 Introduction to Probabilistic Topic Models
摘要:概率主题模型是一系列旨在发现隐藏在大规模文档中的主题结构的算法.本文首先回顾了这一领域的主要思想,接着调研了当前的研究水平,最后展望某些有所希望的方向.从最简单的主题模型--潜在狄立克雷分配(L ...
stata最大值最小值命令_Stata: 双栏模型简介 (Doublehurdle model)
编译:李琼琼 (山东大学) Stata 连享会: 知乎 | 简书 | 码云 | CSDN 点击查看完整推文列表 2020寒假Stata现场班北京, 1月8-17日,连玉君-江艇主讲 2020寒假S ...
Stata: 双栏模型简介 (Double-hurdle model)
编译:李琼琼 (山东大学) Stata 连享会: 知乎 | 简书 | 码云 | CSDN Stata连享会计量专题 || 简书推文文章目录背景介绍 1. 双栏模型 (Double-hur ...

主题模型简介（topic model）

定义

研究模型

主题模型简介（topic model）相关推荐

最新文章

热门文章