Gensim中动态主题模型——dtmmodel的使用
import gensim import jieba import pandas as pd from gensim import corpora,models from gensim.models.wrappers import DtmModel from gensim.corpora import Dictionary from collections import defaultdict
gensim模块中的动态主题模型并不在官方所提供的代码里。想要使用动态主题模型,必须先下载保存在github上的二进制文件,这个文件有适合linux、win和darwin使用的版本,可直接下载,很方便。
这是链接:https://github.com/magsilva/dtm/tree/master/bin
文本要求
根据我的理解,简单来说,动态主题模型就是一种动态调参的LDA主题模型,通常将时间线分为几个等长的时间片。因此按照gensim里的这个模型要求,你必须先把整个事件片里的文本整合到一起,简而言之,就是你最后放到模型里跑的那个文本列表的长度,必须等于你把时间线分成的段数。
我在使用的时候,一共八个月,被我分为了八段,所以你最后的corpus的这个list的len也要是8
分词处理
接下来,你需要先对你需要分析的文本进行分词处理,我使用的代码如下:
train = []#储存分词结果的listfor line in comment:line = line.strip()line = "".join(line.split())if not len(line):#判断是否为空行continueoutstr = ' 'seg_list =jieba.cut(line)for word in seg_list:if word not in stopword:if word != '\t' and word != u'\u200b' and word != '~':outstr += wordoutstr += " "train.append(outstr.strip().split(" "))
得到train后,还可以筛选掉低频的单词:
frenquecy = defaultdict(int)
for patch in train:for token in patch:frenquecy[token] += 1
train = [[token for token in patch if frenquecy[token] > threshold]for patch in train]
然后把分词结果向量化:
dic = Dictionary(train)
corpus = [dic.doc2bow(text) for text in train]
这里需要用doc2bow函数把分词结果转化为bow格式的向量list
dtm模型构建
可以先去官网看一下,看不懂英文的chrome翻一下就好了
class gensim.models.wrappers.dtmmodel.
DtmModel
(dtm_path,corpus = None,time_slices = None,mode ='fit',model ='dtm',num_topics = 100,id2word = None,prefix = None,lda_sequence_min_iter = 6,lda_sequence_max_iter = 20,lda_max_em_iter = 10,alpha = 0.01,top_chain_var = 0.005,rng_seed = 0,initialize_lda = True )
- dtm_path(str) - dtm二进制文件的路径,例如/ home / username / dtm / dtm / main。
- corpus(iterable of (int ,int )的迭代) - BoW格式的文本集合。
- time_slices(int的列表) - 时间戳序列。
- mode({'fit' ,'time'} ,可选) - 控制模式的模式:'fit'用于训练,'time'用于根据DTM分析文档,基本上是一组。
- model({'fixed' ,'dtm'} ,可选) - 将运行的控制模型:'fixed'用于DIM,'dtm'用于DTM。
- num_topics(int ,optional) - 主题数。
- id2word(
Dictionary
,可选) -令牌ID和从胼字之间的映射,如果不是指定的-将被从推断语料库。 - prefix(str ,optional) - 生成的临时文件的前缀。
- lda_sequence_min_iter(int ,optional) - LDA的最小迭代次数。
- lda_sequence_max_iter(int ,optional) - LDA的最大迭代次数。
- lda_max_em_iter(int ,optional) - LDA中的最大em优化迭代。
- alpha(int ,optional) - 超参数,它影响每个时间片中LDA模型的文档主题的稀疏性。
- top_chain_var(int ,optional) - 影响的超参数。
- rng_seed(int ,optional) - 随机种子。
- initialize_lda(bool ,optional) - 如果为True - 使用LDA初始化DTM
这里的第一个参数dtm_path,就是指放置你下载的二进制文件的位置。
整个函数中,最玄幻的参数就是这个time_slices。源代码中要求,sum(time_slices)要等于你时间片的个数,即len(corpus),但是这个实际上可以有无数种组合,可是官方文档里并没有写具体这个参数会对模型有什么样的影响,我也没搞懂,就只能使用官方文档例子的写法time_slices = [1] * len(corpus)
其他参数可以使用函数的默认值,也可以自己慢慢调整。
根据官方文档中说的,模型有两种模式,一种是fit,一种是time。fit完全正常运行,但是time这个模式是根据时间戳进行分析的模式,可见这是我们想要的模式。但是在实际调用时却出现问题:
问题1
会告诉你某一个函数返回了非0值,报错。根据错误提示,我们一直找到gensim中的utils.py中的1916行,把这里改成:
try:error = subprocess.CalledProcessError(retcode,cmd)
except Exception:error = None
问题2
接下来还会报错,会告诉你各种模型所需要的文件均不存在。我用了好久才明白是怎么回事,原来这个模式自己并不会生成这些初始化的文件,而是需要先运行一次fit模式,再使用fit模式初始化的文件来运行time模型,但是源代码里并没有写这个部分,导致运行失败,因此修改源代码dtmmodel.py中的164行:
if corpus is not None:if self.mode == 'time':print("time mode")self.train(corpus, time_slices, 'fit', model)self.train(corpus, time_slices, mode , model)elif self.mode == 'fit':print("train mode")self.train(corpus, time_slices, mode , model)
这样,就能正常运行time模式。代码如下:
model = DtmModel(path_to_dtm_binary,corpus = corpus,time_slices=time_slice,
id2word=dic,num_topics = num_topics,alpha = alpha,mode='time')
查看的得到的主题:
model.show_topics(num_topics = 10,times=1)
其他使用方法看官方文档就好了
Gensim中动态主题模型——dtmmodel的使用相关推荐
- gensim中动态主题模型(DTM)两种实现方法(一)
目录 (一)gensim.models.ldaseqmodel包 1.基本使用方法 2.缩水的地方 (二)gensim.models.wrappers.dtmmodel.DtmModel包 1.没有c ...
- gensim中动态主题模型(DTM)两种实现方法(二)
第一部分内容请点此阅读:gensim中动态主题模型(DTM)两种实现方法(一) 目录 (二)gensim.models.wrappers.dtmmodel.DtmModel包 1.如何使用呢? 2.c ...
- python主题建模_在PYTHON中进行主题模型LDA分析
原文链接:在PYTHON中进行主题模型LDA分析tecdat.cn 主题建模是一种在大量文档中查找抽象主题的艺术方法.一种作为监督无的机器学习方法,主题模型不容易评估,因为没有标记的"基础 ...
- gensim实现LDA主题模型-------实战案例(分析希拉里邮件的主题)
数据集下载:https://download.csdn.net/download/qq_41185868/10963668 第一步: 加载一些必要的库, 我们用的是gensim中的LDA模型,所以必须 ...
- 连续时间动态主题模型(Continuous Time Dynamic Topic Models, cDTM)
用于分析和管理大量电子文档的工具变得越来越重要.近年来,离散数据的分层贝叶斯模型,已成为一种广泛使用的文本探索和预测分析方法. 主题模型,例如潜在Dirichlet分配(LDA)和更一般的离散分量分析 ...
- python数据分析论文报告_Calaméo - 【原创】在PYTHON中进行主题模型LDA分析数据分析报告论文(代码+数据) ....
[ 原 创 ] 定 制 代 写 开 发 辅 导 答 疑 r/python/spss/matlab/WEKA/sas/sql/C++/stata/eviews/Computer science assi ...
- 作者主题模型(Author-Topic Model)的Python Gensim实现
Gensim中的主题模型包括三种,分别是LDA (Latent Dirichlet Allocation) 主题模型.加入了作者因素的作者主题模型 (Author-Topic Model, ATM) ...
- win7 64位 Python3.5.1 scipy,numpy, Gensim主题模型包安装
由于Gensim 官网暂时还没有Python3.5 对应的版本,本人安装 Gensim时也是各种纠结,因此专门开通博客,想通过博客来记录一下安装过程,希望也能对部分同道中人有点帮助. 环境: win7 ...
- NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析
将LDA跟多元统计分析结合起来看,那么LDA中的主题就像词主成分,其把主成分-样本之间的关系说清楚了.多元学的时候聚类分为Q型聚类.R型聚类以及主成分分析.R型聚类.主成分分析针对变量,Q型聚类针对样 ...
最新文章
- c语言中void跟argv,argc和argv []在C语言中
- 你熟知的那个杀毒软件公司McAfee,用这种方法骗过护照人脸识别系统
- java 正则 反向引用_正则之反向引用
- 谷歌体三维捕捉新突破:实现后期任意照明修改
- linux swi 内核sp,Linux内核分析课程8_进程调度与进程切换过程
- 倒排文件索引(Inverted File Index)的建立
- nit计算机应用基础是考试大纲,NIT考试大纲--计算机应用基础.doc
- jvm垃圾回收机制_干货|JVM垃圾回收机制
- 内蒙古师范大学计算机科学技术学院,内蒙古师范大学计算机科学技术硕士生导师——李成城...
- Security+ 学习笔记54 安全政策
- P1019 单词接龙
- word树状分支图_带你看懂市政管道工程图
- 3D数学之镜像、切变
- 【Java笔记】Java开发实战经典 - 第三章
- “手机到底是如何实现定位的?工作原理是什么?”
- 手机后端开发用php,【后端开发】php如何获取手机型号
- 实验吧--天网管理系统
- 虚拟机Ubuntu18.04开机后一直卡在[OK] Started GNOME Display Manager处,进不去系统。
- JavaScript----与函数大战的207个回合(来日再战)
- linux awk sed strace,docker 中进行strace的三种方式