LDA（latent dirichlet allocation）的应用

http://www.52ml.net/1917.html

主题模型LDA（latent dirichlet allocation）的应用还是很广泛的，之前我自己在检索、图像分类、文本分类、用户评论的主题词抽取等都用过，做feature、降维等。例如可以用主题维度来表示原来的字典维度，大大的降低了文本表示的维度。这其实也很deep learning中的对特征的抽象有点相似，通过一些聚类等的思想，将一些细粒度的特征组合到一个新的空间上去，例如主题空间。

而且GibbsSampling的LDA实现也相对容易，可以参考一些代码。

最近看微博上志飞Google 发起的帖子，大多业界用lda或者plsa的都表态了。腾讯的rickjin等。摘录一些，大家以后遇到类似的问题可以尝试下topic model。

===

rickjin ：PLSA 和 LDA 在广告系统中做文本语义相似度的计算还是可以的,至少能保证弱语义相关性。另外，我们把 LDA inference 出来的 topic 用在了文本分类器中做feature, 可以显著的提升分类器的 precission/recall

机器学习那些事儿：在计算搜索query相似度时直接采用LSA了，因为SVD的效率在工业界已经很成熟。//@rickjin :回复 @志飞Google :哦，没有说清楚，我指的是弱语义关联，比如 LDA 可以有效的用于计算 "柯南" 和 "火影忍者" 这两个 query 的相似度

机器学习那些事儿：打个比方，有1000万个样本，只用learning的100个topic做feature，结果可想而知// @余凯_西二旗民工 :只用topic分类，效果不好，尤其是在训练样本多的时候。// @老师木 : 只用topic作文本分类，效果怎样。

李沐mu ：有公司用lda做cookie做user group，然后当feature用，效果挺好/ @洪亮劼 : 目前正在做LDA在大规模user profiling + personalization的工作。

张栋_机器学习：PLSA （dirichlet prior = zero 的 LDA）还是很实用的，我们用它解过几个工业界的问题

袁全V ：我们在广告中在用lda做cookie-url grouping, 最近在尝试用来发现长尾语义

苏劲松XMUNLP ：baidu好像把plsa用得挺好的，lda就不知道了。

转载于:https://www.cnblogs.com/DjangoBlog/p/6210663.html

LDA（latent dirichlet allocation）的应用相关推荐

gensim实现LDA(Latent Dirichlet Allocation)算法提取主题词(topic)
Latent Dirichlet Allocation(LDA) 隐含分布作为目前最受欢迎的主题模型算法被广泛使用.LDA能够将文本集合转化为不同概率的主题集合.需要注意的是LDA是利用统计手段对主 ...
R语言文本主题模型之潜在语义分析（LDA:Latent Dirichlet Allocation）
文本分析:主题建模 library(tidyverse) theme_set( theme_bw()) 目标定义主题建模解释Latent Dirichlet以及此过程的工作原理演示如何使用LDA ...
LDA: 从头到尾彻底理解LDA (Latent Dirichlet Allocation)
小记: 很长一段时间没有更新博客了,因为工作比较忙,也没有回答一些朋友的问题, 非常抱歉. 这篇LDA的总结已经写好了有三个多月, 一直没有时间发到CSDN上, 今天周末, 本来打算在很火爆的国内MO ...
自然语言处理NLP之主题模型、LDA(Latent Dirichlet Allocation)、语义分析、词义消歧、词语相似度
主题模型主题模型旨在文章中找到一种结构,学习到这种结构后,一个主题模型可以回答以下这样的问题.X文章讨论的是什么?X文章和Y文章直接有多相似?如果我对Z文章感兴趣我应该先读那些文章?什么是主题?主题 ...
简单易学的机器学习算法——Latent Dirichlet Allocation（理论篇）
引言 LDA(Latent Dirichlet Allocation)称为潜在狄利克雷分布,是文本语义分析中比较重要的一个模型,同时,LDA模型中使用到了贝叶斯思维的一些知识,这些知识是统计机器学习的 ...
潜在狄利克雷分配(LDA，Latent Dirichlet Allocation)模型（三）
潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(三) 目录潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(三) 主题演 ...
潜在狄利克雷分配(LDA，Latent Dirichlet Allocation)模型（二）
潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(二) 目录潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(二) LDA ...
潜在狄利克雷分配(LDA，Latent Dirichlet Allocation)模型（一）
潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(一) 目录潜在狄利克雷分配(LDA,Latent Dirichlet Allocation)模型(一) LDA ...
潜在狄利克雷分配（Latent Dirichlet Allocation，LDA）
文章目录 1. 狄利克雷分布 2. 潜在狄利克雷分配模型 3. 学习推理 4. sklearn.decomposition.LatentDirichletAllocation 潜在狄利克雷分配(lat ...
LDA（Latent Dirichlet allocation）
目录 1. 贝叶斯网络 2. 主题模型 2.1 主题模型的直观理解 2.2 共轭先验分布 2.3 二项分布及其共轭先验--Beta分布 2.3.1 Bete分布 2.3.2 二项分布与其先验分布 2. ...

LDA（latent dirichlet allocation）的应用

LDA（latent dirichlet allocation）的应用相关推荐

最新文章

热门文章