微博爬虫及舆情分析-3.文本清理与制作词云

1、文本清理

import pandas as pd
import pymysql
from sqlalchemy import create_engine
import re
import jieba
import jieba.analyse
#1.从数据库导入微博数据并查看
mblog_frame = pd.read_csv('mblog.csv',index_col=None)
mblog_frame.head(2)

# 2.清除text中的非微博正文字符并抽取关键词
# 自定义函数
def clean_text(raw):"""清除text中的非微博正文字符返回值类型为元组"""if raw['raw_text']:text=re.sub('<[^<]*>','',raw['raw_text']) # 清除多余的html语句text=re.sub('[#\n]*','',text) # 清除换行符与#符号text=re.sub('(http://.*)$','',text) # 清除文末的网址return text else:return None
def get_chinese_text(raw):"""清除text中的非中文字符只能提取中文字符，微博中的数字以及英文均会丢失"""if raw['text']:res_text=''.join(re.findall(r"[\u4e00-\u9fff]{2,}",raw['text']))return (raw['mid'],res_text)else:return Nonedef get_keywords(raw):"""使用jieba从中文text抽取关键词默认抽取20个关键词longtext 提取40个关键词"""if raw['chinese_text']:if raw['isLongText'] == 1:# 当text为长文本时，提取50个关键词keywords = jieba.analyse.extract_tags(raw['chinese_text'],topK=50)else:# 当text为非长文本时，默认提取20个关键词keywords = jieba.analyse.extract_tags(raw['chinese_text'])return (raw['mid'],keywords)else:return Nonedef clean_created_date(raw):created_date = raw['created_at']if created_date.endswith('前'):created_date = '09-15'elif created_date.startswith('昨天'):created_date = '09-14'return created_date
#获取清理后的created_date
mblog_frame['created_date'] = mblog_frame.apply(clean_created_date,axis=1)
# 获取清理后的text
mblog_frame['chinese_text'] = mblog_frame.apply(clean_text,axis=1)# 以传入字典items()的形式生成DataFrame，指定列名
res_mblog = pd.DataFrame(mblog_frame,columns=['mid','chinese_text','like_count','comments_count','reposts_count','created_date','user_id'])
# 写入csv文件便于查看数据清洗结果
res_mblog.to_csv('clean_mblog.csv', encoding='utf_8_sig',index=False)
# 获取关键字并转换为分散存储的DataFrame
mid_with_keyword = list(mblog_frame.apply(get_keywords,axis=1))
# 这里要把keywords列表存储到数据库，因此需要将keywords列表分开，并与mid对应
keywords_list = [(raw[0],w) for raw in mid_with_keyword for w in raw[1]]
mid_with_keyword = pd.DataFrame(keywords_list,columns=['mid','keyword'])
# 写入csv文件便于查看结果
mid_with_keyword.to_csv('keyword.csv', encoding='utf_8_sig',index=False)

2、制作词云

# 从数据库读取微博数据
keyword_frame = pd.read_csv('keyword.csv',index_col=False)
# 取出全部的关键词，并生成一个列表
all_keyword = list(keyword_frame.keyword)# 使用collections模块中的Counter统计每个关键词出现的次数，Counter返回一个字典，keyword：count
from collections import Counter
word_freq_frame = pd.DataFrame(Counter(all_keyword).items())
word_freq_frame.columns=['word','count']
top100_freq_word = word_freq_frame.sort_values('count',ascending=0).head(100)
top100_freq_word_dict=dict(list(top100_freq_word.apply(lambda w:(w['word'],w['count']),axis=1)))from wordcloud import WordCloud,STOPWORDS
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']#用来显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来显示负号
%matplotlib inline
plt.rcParams['figure.dpi'] = 100 #分辨率
wc = WordCloud(background_color="white",max_words=2000,font_path='simhei.ttf')
wc.generate_from_frequencies(top100_freq_word_dict)
plt.imshow(wc)
plt.axis('off')
plt.show()

微博爬虫及舆情分析-3.文本清理与制作词云相关推荐

招商银行fintech选拔课题---《基于微博爬虫的舆情分析》上
最近参加了招商银行总行的fintench精英技术训练营的选拔赛,在通过笔试后,进入了课题研究的环节.因为前段时间学习了一段时间Python,所以选择了<基于微博爬虫的舆情分析>这一课题.该 ...
微博爬虫及舆情分析-1.爬取微博数据
本文以"Mate30"为关键字进行分析 import requests as re import time #搜索关键字Mate30并获取url target_url = &quo ...
微博爬虫及舆情分析-4.用户舆情分析
import pandas as pd import numpy as np #读取训练数据集 mblog=pd.read_csv('clean_mblog.csv',encoding='utf_8_ ...
微博爬虫及舆情分析-2.用户分析
import pandas as pd import re #读取数据 user_frame = pd.read_csv('users.csv',index_col=None) user_frame. ...
基于Python的微博大数据舆情分析，舆论情感分析可视化系统
运行效果图基于Python的微博大数据舆情分析,舆论情感分析可视化系统系统介绍微博舆情分析系统,项目后端分爬虫模块.数据分析模块.数据存储模块.业务逻辑模块组成. 先后进行了数据获取和筛选存储, ...
python怎么爬取知乎回答并制作词云_爬虫|爬取微博动态
爬取微博是爬虫新手入门项目,相对简单.但没想到还是遇到了些问题.. 0 踩点老规矩第一步先踩点.某个用户的微博网址为:https://weibo.com/u/id,其中id是一长串数字,每个用户 ...
对爬取的电影《唐人街探案3》豆瓣短评做文本分析，并利用stylecloud制作词云图
上一节,我们爬取了豆瓣上电影<唐人街探案3>的评论,并将评论保存成了txt文档,爬虫过程可参考:爬取某瓣上电影<唐人街探案3>的评论本节,我们将对电影短评做文本分析,并利用s ...
Python 爬虫实战（1）：分析豆瓣中最新电影的影评并制作词云
入门Python不久,想做个小项目练练手,碰巧最近一部国产电影<红海行动>反响不错,便萌生想法去抓取一下它最新的评论,并制作词云,来看看网页对这部电影的一些评价,接下来就是开始分析啦(分析 ...
bilibili怎么设置弹幕数量_python爬取B站视频弹幕分析并制作词云
1.分析网页视频地址: www.bilibili.com/video/BV19E- 本身博主同时也是一名up主,虽然已经断更好久了,但是不妨碍我爬取弹幕信息来分析呀. 这次我选取的是自己唯一的爆款 ...

微博爬虫及舆情分析-3.文本清理与制作词云

1、文本清理

2、制作词云

微博爬虫及舆情分析-3.文本清理与制作词云相关推荐

最新文章

热门文章