文档主题分类项目Python代码
#希拉里右键门,文档主题分类。LDA模型,数据读取还有点问题
#数据来源:请联系公众号:湾区人工智能
import numpy as np
import pandas as pd
import re
import codecs
#UnicodeEncodeError: 'mbcs' codec can't encode characters in position 0--1: invalid character
df = pd.read_csv("D:/自然语言处理/Lecture_3 LDA 主题模型课件与资料/Lecture_3 LDA 主题模型课件与资料/主题模型课件与资料/input/HillaryEmails.csv",encoding='utf-8')
# 原邮件数据中有很多Nan的值,直接扔了。
df = df[['Id','ExtractedBodyText']].dropna()
def clean_email_text(text):text = text.replace('\n'," ") #新行,我们是不需要的text = re.sub(r"-", " ", text) #把 "-" 的两个单词,分开。(比如:july-edu ==> july edu)text = re.sub(r"\d+/\d+/\d+", "", text) #日期,对主体模型没什么意义text = re.sub(r"[0-2]?[0-9]:[0-6][0-9]", "", text) #时间,没意义text = re.sub(r"[\w]+@[\.\w]+", "", text) #邮件地址,没意义text = re.sub(r"/[a-zA-Z]*[:\//\]*[A-Za-z0-9\-_]+\.+[A-Za-z0-9\.\/%&=\?\-_]+/i", "", text) #网址,没意义pure_text = ''# 以防还有其他特殊字符(数字)等等,我们直接把他们loop一遍,过滤掉for letter in text:# 只留下字母和空格if letter.isalpha() or letter==' ':pure_text += letter# 再把那些去除特殊字符后落单的单词,直接排除。# 我们就只剩下有意义的单词了。text = ' '.join(word for word in pure_text.split() if len(word)>1)return text#新建一个colum
docs = df['ExtractedBodyText']
docs = docs.apply(lambda s: clean_email_text(s))
#docs.head(1).values
doclist = docs.values
from gensim import corpora, models, similarities
import gensim
stoplist = ['very', 'ourselves', 'am', 'doesn', 'through', 'me', 'against', 'up', 'just', 'her', 'ours', 'couldn', 'because', 'is', 'isn', 'it', 'only', 'in', 'such', 'too', 'mustn', 'under', 'their', 'if', 'to', 'my', 'himself', 'after', 'why', 'while', 'can', 'each', 'itself', 'his', 'all', 'once', 'herself', 'more', 'our', 'they', 'hasn', 'on', 'ma', 'them', 'its', 'where', 'did', 'll', 'you', 'didn', 'nor', 'as', 'now', 'before', 'those', 'yours', 'from', 'who', 'was', 'm', 'been', 'will', 'into', 'same', 'how', 'some', 'of', 'out', 'with', 's', 'being', 't', 'mightn', 'she', 'again', 'be', 'by', 'shan', 'have', 'yourselves', 'needn', 'and', 'are', 'o', 'these', 'further', 'most', 'yourself', 'having', 'aren', 'here', 'he', 'were', 'but', 'this', 'myself', 'own', 'we', 'so', 'i', 'does', 'both', 'when', 'between', 'd', 'had', 'the', 'y', 'has', 'down', 'off', 'than', 'haven', 'whom', 'wouldn', 'should', 've', 'over', 'themselves', 'few', 'then', 'hadn', 'what', 'until', 'won', 'no', 'about', 'any', 'that', 'for', 'shouldn', 'don', 'do', 'there', 'doing', 'an', 'or', 'ain', 'hers', 'wasn', 'weren', 'above', 'a', 'at', 'your', 'theirs', 'below', 'other', 'not', 're', 'him', 'during', 'which']
texts = [[word for word in doc.lower().split() if word not in stoplist] for doc in doclist]
#用词袋的方法,把每个单词用一个数字index指代,并把我们的原文本变成一条长长的数组:
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
#建立模型
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20)
#第10号分类,其中最常出现的单词是
#lda.print_topic(10, topn=5)
#所有的主题打印出来看看
lda.print_topics(num_topics=20, num_words=5)'''
#可以把新鲜的文本/单词,分类成20个主题中的一个。文本和单词,都必须得经过同样步骤的文本预处理+词袋化,也就是说,变成数字表示每个单词的形式。
lda.get_document_topics(bow)
'''
文档主题分类项目Python代码相关推荐
- [python] LDA处理文档主题分布代码入门笔记
以前只知道LDA是个好东西,但自己并没有真正去使用过.同时,关于它的文章也非常之多,推荐大家阅读书籍<LDA漫游指南>,最近自己在学习文档主题分布和实体对齐中也尝试使用LDA进行简单的实验 ...
- [python] LDA处理文档主题分布及分词、词频、tfidf计算
这篇文章主要是讲述如何通过LDA处理文本内容TXT,并计算其文档主题分布,主要是核心代码为主.其中LDA入门知识介绍参考这篇文章,包括安装及用法: [python] LDA处理文档主题 ...
- Confluence 6 文档主题合并问答
在 Confluence 官方 前期发布的消息 中,文档主题在 Confluence 6.0 及其后续版本中已经不可用.我们知道你可能对这个有很多好好奇的问题,因此我们在这里设置了一个问答用于帮助你将 ...
- 自然语言处理项目之文档主题分类
#希拉里右键门,文档主题分类.LDA模型,数据读取还有点问题 #数据来源:请联系公众号:湾区人工智能 import numpy as np import pandas as pd import re ...
- 主题计算机一级,Office2007文档主题的应用或自定义
通过应用Office 2007文档主题(主题:一组统一的设计元素,使用颜色.字体和图形设置文档的外观.),您可以快速而轻松地设置整个文档的格式,赋予它专业和时尚的外观.文档主题是一组格式选项,包括一 ...
- 论文阅读——基于文档主题结构的关键词抽取方法研究(理解)
1.引言 1.1关键词自动标注的主要方式与算法 关键词自动标注主要有两种方式:关键词抽取与关键词分配. 关键词抽取,是从文档内容中寻找并推荐关键词 关键词分配,是从一个预先构造好的受控词表(contr ...
- LDA文档主题生成模型
基础知识: LDA: latent dirichlet allocation ,又名潜在狄利克雷分布,是非监督机器学习技术,用于识别文档集中潜在的主题词信息. 主要思想:采用词袋方法,将每一篇文档视为 ...
- c语言字符统计2sdut,山东理工大学SDUT - ACM OJ 题: Python代码 及分析
Python基础语法学习完成,先刷基础题100道巩固 ,附 题目.代码.知识分析 题目:http://acm.sdut.edu.cn/onlinejudge2/index.php/Home/Index ...
- 脱贫帮扶绩效评价-2020年华数杯C题(含python代码)
支持博主有三宝,点赞.留言.关注公众号 关注公众号免费获全部代码,后台回复:2020华数杯C 个人公众号 题目来源:2020年_华数杯_C题 1. 问题1的求解 1.1 模型建立 判断2015年与 2 ...
最新文章
- Java多线程闲聊(五):AQS
- 初学Java Web开发,请远离各种框架,从Servlet开发
- Leetcode 剑指 Offer 53 - I. 在排序数组中查找数字 I (每日一题 20210928)
- Golang map 如何进行删除操作?
- eoLinker-API_Shop_验证码识别与生成类API调用的代码示例合集:六位图片验证码生成、四位图片验证码生成、简单验证码识别等...
- Java 蓝桥杯 常用核心类
- d3d9 抓取windows屏幕
- android - Drawable - ColorDrawable 学习笔记
- 仿微信导航栏滑动门练习
- 安防系统管理服务器,安防弱电系统设计常用十个行业方案(含拓扑图)
- python用opencv实现图片的美白磨皮_OpenCV 磨皮-Python
- mongodb查询某个字段数据
- 抖音胡闹天宫直播项目,可虚拟人直播 抖音报白 实时互动直播软
- 卸载应用后,删除安装根目录下的所有文件,提示已在另一进程打开,在资源管理器进程中找不到该程序的解决
- 小程序如何开发商城系统
- eclipse配置python开发环境_Python开发环境配置步骤
- linux 设置开机自启
- 2019 CCF-CCSP-苏州之旅
- IT项目管理最佳实践(综合篇)
- Java SE学习之路
热门文章
- 【小项目】学生信息登记系统
- 创建预编译头 Debug 正常 Release Link Error:预编译头已存在,使用第一个 PCH
- Nginx(二) 反向代理负载均衡
- 二道Const,readonly 和 override, new的面试题
- ORACLE使用数据泵导入导出部分表
- Oralce 时间TIMESTAMP的比较
- jdk w7环境变量配置
- CVS的几个学习小站及配置说明
- 无法执行程序。所执行的命令为 C:\Windows\Microsoft.NET\Framework64\v4.0.30319\csc.exe /noconfig /fullpaths @C:\W...
- jquery插入第一个元素? [问题点数:20分,结帖人zsw19909001]