Topic Model
基于LDA的Topic Model变形
最近几年来,随着LDA的产生和发展,涌现出了一批搞Topic Model的牛人。我主要关注了下面这位大牛和他的学生: David M. BleiLDA的创始者,04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底;而其自己实现的LDA又可体现其不俗的编程能力。说人无用,有论文为证:
基本LDA模型,当然假设文档之间是可交换的,那么在原始的LDA中文档之间其实是认为条件独立的。而在实际情况中,往往不是这个样子的,文档间也许会存 在“social network”的这样的网络性质。如何结合内容和“social network”这两个特征也许是一个非常有意思的话题。这篇论文就是给出了一个解决方法。它为两个文档之间增加了一个二元随机变量,根据其内容特征,来 刻画这种隐含的链接关系。 关于显示的链接关系是过去今年内,人们追逐研究的对象,进而产生PageRank、HITS等等一大批优秀的链接关系算法。那么如何利用隐含的链接呢?什 么是隐含的链接呢?一个最简单的隐含链接就是基于内容相似度构建的图。这个被人们用的不亦乐乎,比如在文摘中的LexRank等。[size=-1]O Kurland在SIGIR中发了两篇大概都是类似的文章,本质思想貌似就是在利用内容之间的“超链接”。
这篇论文是一篇综述性的大制作的论文,Blei在里面深入浅出的介绍了什么是Topic Model以及他早期的一些Topic Model的变形。值得大家去阅读。
原始的LDA考察两个词只是基于共现的角度。而实际情况中,这种共现往往是不能够精确地刻画一些句子结构信息或者说词义信息。如何把这种信息引入。考虑 更深层的生成模型是目前一个热点。这篇论文着眼于一个句子的句法分析的生成过程,它认为每个句子的生成都是基于“parse tree”的,整个概率生成过程完全附着在“parse tree”上了。并且每个句子内,不同的词都有可能去选择更适合自己的Topic。
现如今,网络数据除了纯内容外,往往还有其他一写辅助信息,如用户对于某博文的评价或者说用户对于某商品的评价。一个最典型的例子,就是说在当当买书 后,你可以给该书的质量进行打分:5星代表最好,4星代表比较好,。。。依次类推。那么如何把这些信息加入原始的LDA中呢? Blei为其引入了一个response变量因子,该因子条件依赖于该文档的topic distribution。 如何把ratable information和内容有机地结合起来也是最近的一个研究热点。大多数方法还都是,建立一个ratable response variable,然后该变量条件依赖于内容或者说Topic信息。
这篇论文对应的一个大背景是把Topic Model应用到自然语言处理中,具体内容我没太看,主要是结合了WordNet的结构特征,在此基础上产生的图模型。
还没有认真看,这个其实打破了原来topic之间的可交换性。
也没有仔细看,把Topic Model和时间维度结合了起来。Mei Qiaozhu也有一篇是研究话题内容随着时间变化的论文,但是是基于PLSI和HMM来完成的。
这篇论文是一篇非常优秀的论文,开篇详细地叙述了词的不同功能分类,也叫做HMM-LDA模型。正如每个人存在都有其社会意义,那么词存在对于文本语义 的表述也有着不同的角色。作者把词分为了两大功能:第一个就是semantic功能,也就是之前我们所有的Topic word;另一个功能就是说语法功能,也就是说这些词的存在是为了让整个句子的生成过程看起来更像一个完整体或者说更符合语言规范。T. Griffiths和M. Steyvers是两个很优秀的学者,他们开发了topic model工具包,并且也有一堆的牛论文。
Blei的博士论文,我至今还没有看完,因为一直纠结在那个Varitional inference的推导。自己责备一下自己。
LDA的第一篇文章,不算很好读懂。初次阅读时,一般会遇到可交换性、variational inference、simplex等等细节问题。经典中的经典。
SIGIR中的一篇关于分段的论文。其实分段这个事情在现实中需求量比较大,但是成熟的工具包并不多,或者我不知道。比较好的成熟的算法一般还是基于语 义斜率的变化来计算的。在次召唤下懂这方面的大牛推荐几个好用的工具。与分段关联很紧密的一个问题就是网页正文抽取,同样也是这个问题,发论文的多,但是 实际release出来代码的很少。比较著名的,如VIPS,但是我没有用过。昨天发现VIPS的作者原来也是一个巨牛的中国人,Deng Cai。之前是清华学生,现在师从Jiawei Han,各种牛会议和牛期刊发了N多的文章。在此膜拜一下。 总结 目前我能看懂的Topic Model的文章还是很少一部分,自己的概率和数学基础太差,对于posterior inference往往无能为力,这也是下一步我的目标。并且自己其实也不太会创新,下一步也是要在这个方面多下功夫,争取应用Topic Model来解决自己的实际问题。 来源:http://blog.csdn.net/hexinuaa/article/details/6021069 |
Topic Model相关推荐
- 【带你玩转主题模型Topic Model】—— 之 利用sklearn 实现Latetnt Dirichlet Allocation(LDA)主题模型
写在前面的话 9月份的第一篇blog, 正好是开学季,作为一个学生,hahahha, 我还是正正经经的贡献一篇认为比较干货的文章给大家吧. 我自己是花了很多时间去看懂LDA的算法了,当然了这篇文章不涉 ...
- 双稀疏主题模型(Dual-Sparse Topic Model)编程实现中的细节 Java
本文作者:合肥工业大学 电子商务研究所 钱洋 email:1563178220@qq.com . 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章目录 论文来源 相关介绍 单稀疏模型 双稀 ...
- 2018 A Sparse Topic Model for Extracting Aspect-Specific Summaries from Online Reviews 稀疏主题模型学习笔记
论文来源 文章介绍 模型及推理 关于源码 论文来源 Rakesh V, Ding W, Ahuja A, et al. A Sparse Topic Model for Extracting Aspe ...
- Topic model相关文章总结
基础类主题模型 Hofmann T. Probabilistic latent semantic indexing[C]//Proceedings of the 22nd annual interna ...
- Correlated Topic model 的Gibbs sampling
原文来自师兄的博客:http://blog.csdn.net/wjj5881005/article/details/53320577 关于经典LDA的theta Correlated Topic Mo ...
- LDA︱基于LDA的Topic Model变形+一些NLP开源项目
一.LDA的变形 转载于:转:基于LDA的Topic Model变形 Topic Model最适合的变种是加入先验信息: 我相信题主使用的是完全无监督的Topic Model,然而这实在是过于不wor ...
- JST :Joint sentiment topic model ASUM :Aspect sentiment unification model
Joint sentiment /topic model JST模型从文本检测情感和主题 之前的工作缺点:基于机器学习的情感分类需要大量的人工标记: 一个领域训练的情感分类模型不能很好地应用于另一个 ...
- 主题模型简介(topic model)
定义 对于一个文档集合来说,假如一篇文章是讲猫科动物的,那么可能会一部分讲猫, 一部分讲老虎, 一部分讲猎豹.那么讲猫的那一部分与猫有关的词语出现的频率应该高一些,比如"鱼",&q ...
- 神经主题模型及应用(Neural Topic Model)
主题模型一般会从一组文档中抽取若干组关键词来表达文档的核心思想,即"主题".首先看看最经典的概率主题模型,LDA模型. Latent Dirichlet Allocation 具体 ...
- Biterm Topic Model(BTM)的python 实现
前言 最近在看话题模型相关的论文.有关话题模型现在比较主流的解决方法有LDA,PLSA以及mixture of unigrams,本人研究了LDA(Latent Dirichlet Allocatio ...
最新文章
- java redis 下载_redis Java源代码 redis.rar - 下载 - 搜珍网
- 珍藏版:3万字详解mRNA疫苗
- Gartner:预计2018年人工智能行业总价值达1.2万亿美元
- GitHub 中文排行榜,高分优秀中文项目一网打尽!
- 【⛸️拒绝手滑,我们都是稳准狠⛸️】C++のmemset函数的小探究
- [mybatis]映射文件_select_resultMap_discriminator鉴别器
- Analysis of variance(ANOVA)
- beetle.express一通讯案例测试结果
- 深度学习笔记_基本概念_梯度下降及示例代码
- MSDN下载的win7 32位原版镜像无法安装vmtools和提示安装程序无法自动安装Virtual Machine Communication Interface(VMCI)驱动程序
- cookie和seseion的区别和联系点
- 支付宝APP支付 错误代码 insufficient-isv-permissions 错误原因: ISV权限不足
- 《产品经理面试攻略》PART 9:HR面试题
- 谷歌FLASH无法添加保存网站
- Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning 笔记
- 设计模式10——状态模式
- 解决 linux下编译运行.sh文件报错 “[: XXXX: unexpected operator” 问题
- 计算机中符号位正负,负数在计算机中的表示+有符号无符号的区别+负数按位运算...
- 破解企业数字化增长困境的四大利刃
- k8s部署apollo
热门文章
- 生产车间实施6s管理后会有哪些变化
- win7笔记本搭建wifi热点
- 【树莓派不吃灰】基础篇⑨ 搭建emqx MQTT Broker
- linux 怎么卸载gnome-screenshot,如何更改gnome-screenshot截图的默认名称?
- 内蒙古自治区发改委副主任刘丽娟一行莅临贵阳大数据交易所,共商激活政府数据价值,构建城市数据应用场景...
- 格科微电子技术支持(应届)面试
- 【JAVA】 抽象类和接口
- (待修改补充)三国大事记
- loam_velodyne报错:[laserMapping-4] process has died
- 小程序源码:2022虎年背景全新UI头像框制作微信小程序源码下载-多玩法安装简单