“等疫情过去，等我回家，抱抱爸妈，拉着他们去河边散步，听他们唠叨，再也不还嘴。我爱你们，希望你们知道。”

“去公园跑步高呼，太憋了，人都要发霉了。”

“去见城南朋友，聊聊昨天失败的表白。”

“回杭后，要见周先生。”

以上内容，均来自“豆瓣”热门话题#冠状疫情退去后的第一天你打算做什么#

本文爬取了该话题下的短评数据，进行高频词统计和词云可视化，来分析大家在疫情之后，最想念谁，最想做什么？

01.

保存短评数据

通过浏览器“检查”分析，得到URL数据接口。在不断往下刷新页面的过程中，发现URL中只有“start”参数不断产生变化，依次为0，20,40,60,80---

同时，为了破解“豆瓣”的防爬虫机制，请求数据时需携带“请求头（headers）”中的“User-Agent”和“Referer”两个参数。

import requestsfor i in range(0,200,20):# 通过浏览器检查，得到数据的URL来源链接url = 'https://m.douban.com/rexxar/api/v2/gallery/topic/125573/items?' \'sort=new&start={}&count=20&status_full_text=1&guest_only=0&ck=null'.format(i)# 破解防爬虫，带上请求头# 这两个不能省略headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0".3809.100 Safari/537.36','Referer': 'https://www.douban.com/gallery/topic/125573/?from=gallery_trend&sort=hot'}# 发送请求，获取响应reponse = requests.get(url, headers=headers)html = reponse.json()# 解析数据，获得短评# 保存到本地for j in range(19):abs = html['items'][j]['abstract']with open("want_after.txt", "a", encoding='utf-8') as f:f.write(abs)print(abs)

02.

词云可视化

把数据保存之后，需要利用“jieba”对数据进行分词；进而，通过分词后的数据绘制词云“wordcloud”，可视化展示数据。

from wordcloud import WordCloud
import matplotlib.pyplot as plt
import pandas as pd
import jieba# 获得wordcloud 需要的 文本格式
with open("want_after.txt", "r", encoding='utf-8') as f:text = ' '.join(jieba.cut(f.read(),cut_all=False))# print(text)backgroud_Image = plt.imread('豆瓣.jpg')  # 背景图# 词云的一些参数设置
wc = WordCloud(background_color='white',mask=backgroud_Image,font_path='SourceHanSerifCN-Medium.otf',max_words=200,max_font_size=200,min_font_size=8,random_state=50,)# 生成词云
word_cloud = wc.generate_from_text(text)plt.imshow(word_cloud)
plt.axis('off')wc.to_file('结果.jpg')

通过词云，可以直观的看到“吃火锅”、“电影”、“朋友”、“奶茶”、“拥抱”、“疫情”等高频的关键词。

这也代表了我们大多数人的心愿。

03.

高频词统计

# 看看词频高的有哪些
process_word = WordCloud.process_text(wc, text)
sort = sorted(process_word.items(), key=lambda e: e[1], reverse=True)
sort_after = sort[:50]
print(sort_after)# 把数据存成csv文件
df = pd.DataFrame(sort_after)
# 保证不乱码
df.to_csv('sort_after.csv', encoding='utf_8_sig')

面朝大海，春暖花开。

后台回复“阳光”

获取文中涉及的全部源码