lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？

前段时间做了新浪微博的主题划分，结果还可以，上传上来算是对之前的一个交代吧

数据集：

利用Gooseeker在新浪微博上爬取了2161个用户，包括这些用户间21368条相互间的关注关系，爬取了2161个新浪微博发布的微博数，粉丝数和关注数，单个用户最近发布的300条微博，包括微博文本内容、微博的评论数和转发数。

数据预处理：

将单个用户发布的300条微博整合成一个文档

对文档进行噪音处理，去除‘@某用户：’、‘我在这里：北京市’相类似的无用短语，再进一步去除特殊的标点符号；

利用结巴分词对文档进行分词工作；

利用完善的停用词表对文档去除停用词；

得到的结果准备进行LDA主题划分

参数设置：

用户发布的微博内容文档进行LDA主题划分时，根据Griffiths

& Steyvers(2004)对主题模型参数设置的研究，将实验参数设置为经验值，主题设为50个，吉布斯采样迭代次数设置为100次。

划分结果：

在每个主题内部根据词语概率高低进行主题词排序，选择具有最高概率的10个词语评估话题挖掘效果。下表所示是取了LDA模型结果中前10个话题及其关键词。

话题话题关键词

Topic1 推荐知乎纪录片年下载阅读文章作者英语豆瓣

Topic2 手机三星苹果小米发布元屏幕支持曝光产品

Topic3 点股市场股市股票经济投资资金交易

Topic4 孩子岁人男子年元老人网友请女孩

Topic5 人工作写老师好学习看到发现时间大学

Topic6 锤子收集科技坚果发布会关注罗永浩新品老罗版

Topic7 电影看过春晚真是节目看到来自电视剧观众演员

Topic8 深圳万中国城市房价政策银行元人改革钱

Topic9 成都重庆西安事身边吃地铁网友路南昌

Topic10 公司年互联网市场技术新企业创新未来产品这是最直观的结果，还有其他主题-词，文档-主题的概率分布就比较繁杂，不做上传了，就是结果还可以，当然因为做的方向不是这个方向，所以也就是凑合玩玩的态度~

心得体会：

GooSeeker真的是业界良心，没有话说的，个人觉得很是方便的网页数据采集器，当然效率有待提高

python的包功能也是真的强大，还有网上一些大神的代码能力以及注释都让人叹为观止，不错不错的

越是纯粹的东西越是让人印象深刻，这些东西做出来感觉还是很好的

———————————————————————————————

GitHub - a55509432/python-LDA: lda模型的python实现

我最近也要做。。参考这个吧，完了做出来效果再来沟通

楼主要是有什么心得体会可以分享沟通就更好！

lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？相关推荐

利用Python做excel文本合并（根据左侧单元格，快速合并右侧单元格内容）
前言:昨天获得一个数据处理的小需求,比较简单,用VBA也能做,不过最近Python用的比较多,所以用Python写了,效率也很快. 需求: 有一张总表,如下图所示需要根据左侧的工号和姓名,合并右侧获 ...
利用Python做新能源公司股票分析（可视化）
这篇文章只有一些代码,分析的内容很多,但是没有进行必要的解释我也是第一次做,不是很懂股票,可能有一些错误. # 导包 import numpy as np import matplotlib.pyp ...
garch预测 python_【2019年度合辑】手把手教你用Python做股票量化分析
引言不知不觉,2019年已接近尾声,Python金融量化公众号也有一年零两个月.公众号自设立以来,专注于分享Python在金融量化领域的应用,发布了四十余篇原创文章,超过两万人关注.这一路走来,有过 ...
LDA主题模型原理解析与python实现
本文转自:LDA主题模型原理解析与python实现_wind_blast的博客-CSDN博客 python实现: #-*- coding:utf-8 -*- import logging impo ...
怎么用python编写个apk_【android】如何利用python做Android项目自动化构建，并一键实现构建结果发送到钉钉通知以及通过二维码下载apk或者其他处理等功能...
今天我们来谈一谈用python做Android项目自动化构建的过程.我们知道在常规的Android开发过程中,开发人员打包的时候需要在Android Studio当中进行,或者通过gradle命令,但 ...
java爬取网页数据_利用Python做数据分析—对前程无忧数据类岗位进行分析
引言随着时代的发展,我国在各行各业都需要大量的人才引进,处于近几年最热门的行业也称"最火行业":大数据.数据分析.数据挖掘.机器学习.人工智能,这五门行业各有不同又互有穿插.近几 ...
python 数据分析学什么-利用Python做数据分析需要学习哪些知识
根据调查结果,十大最常用的数据工具中有八个来自或利用Python.Python广泛应用于所有数据科学领域,包括数据分析.机器学习.深度学习和数据可视化.不过你知道如何利用Python做数据分析吗?需要 ...
python自己做个定时器_技术图文：如何利用 Python 做一个简单的定时器类？
原标题:技术图文:如何利用 Python 做一个简单的定时器类? 背景今天在B站上看有关 Python 最火的一个教学视频 -- "零基础入门学习 Python",这也是我们 P ...
通达信行情数据获取--python_利用 Python 获取余额宝历史收益数据
最近想做一个关于用一些指数基金与余额宝组成的简单风险-无风险投资组合的实验计算,发现通达信之类的行情软件并没有提供完整的余额宝收益信息,如通达信仅有年化收益率的数据,并没有万份收益的数据.因此考虑 ...

lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？

lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？相关推荐

最新文章

热门文章