爬取京东评论并生成词云

import os
import time
import json
import randomimport jieba
import requests
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
from wordcloud import WordCloud# 词云形状图片
WC_MASK_IMG = 'wawa1.jpg'
# 评论数据保存文件
COMMENT_FILE_PATH = 'test1.txt'
# 词云字体
WC_FONT_PATH = 'C:/Windows/Fonts/simfang.ttf'def spider_comment(page=0):"""爬取京东指定页的评价数据:param page: 爬取第几，默认值为0"""url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv4646&productId=1263013576' \'&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&fold=1' % pagekv = {'user-agent': 'Mozilla/5.0', 'Referer': 'https://item.jd.com/1263013576.html'}try:r = requests.get(url, headers=kv)r.raise_for_status()except:print('爬取失败')# 截取json数据字符串r_json_str = r.text[26:-2]# 字符串转json对象r_json_obj = json.loads(r_json_str)# 获取评价列表数据r_json_comments = r_json_obj['comments']# 遍历评论对象列表for r_json_comment in r_json_comments:# 以追加模式换行写入每条评价with open(COMMENT_FILE_PATH, 'a+') as file:file.write(r_json_comment['content'] + '\n')# 打印评论对象中的评论内容print(r_json_comment['content'])def batch_spider_comment():"""批量爬取某东评价"""# 写入数据前先清空之前的数据if os.path.exists(COMMENT_FILE_PATH):os.remove(COMMENT_FILE_PATH)for i in range(100):spider_comment(i)# 模拟用户浏览，设置一个爬虫间隔，防止ip被封time.sleep(random.random() * 5)def cut_word():"""对数据分词:return: 分词后的数据"""with open(COMMENT_FILE_PATH, encoding='utf-8') as file:comment_txt = file.read()wordlist = jieba.cut(comment_txt, cut_all=False)wl = " ".join(wordlist)print(wl)return wldef create_word_cloud():"""生成词云:return:"""# 设置词云形状图片# wc_mask = np.array(Image.open(WC_MASK_IMG))# 设置词云的一些配置，如：字体，背景色，词云形状，大小wc = WordCloud(background_color="white", max_words=2000, scale=4,max_font_size=50, random_state=42, font_path=WC_FONT_PATH)# 生成词云wc.generate(cut_word())# 在只设置mask的情况下,你将会得到一个拥有图片形状的词云plt.imshow(wc, interpolation="bilinear")plt.axis("off")plt.figure()plt.show()if __name__ == '__main__':# 爬取数据# batch_spider_comment()# 生成词云create_word_cloud()

爬取京东评论并生成词云相关推荐

爬取电影评论并绘制词云
一获取豆瓣最新电影的id号和电影名 import requests from bs4 import BeautifulSoup url='https://movie.douban.com/cinem ...
qq动态名片代码_利用Python动态爬取QQ说说并生成词云，分析朋友状况！
今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况. 这是好友的QQ空间10年说说内容,基本有一个大致的印象了. 爬取动 ...
【数据分析大作业爬虫+数据清洗+可视化分析】Python抓取视频评论并生成词云、情感指数柱状图、性别比例饼图及评论信息表格
目录一些将BV号转化为AV号的变量设置词云屏蔽词设置使用代理IP(直接从IP网站复制的) 爬虫的函数将结果写入表格中下面是主函数,首先看看能不能抓取到,还有一些变量设置开始循环爬评论对一 ...
python爬虫用什么电脑好_【Python】【爬虫】最近想买电脑，用Python爬取京东评论做个参考...
最近想换电脑,又有点不确定买哪一款.所以决定爬取京东上电脑评论,做个参考,并把最终结果绘制成词云图. 一.先来看下三款电脑评价的词云图 1 用Python爬取京东自营ThinkPad T490s的评论 ...
【Python爬虫】最近想买电脑，用Python爬取京东评论做个参考
最近想换电脑,又有点不确定买哪一款.所以决定爬取京东上电脑评论,做个参考,并把最终结果绘制成词云图. 一.先来看下三款电脑评价的词云图 1 用Python爬取京东自营ThinkPad ...
爬取qq音乐的评论并生成词云——以《听妈妈的话》为例
爬取qq音乐的评论并生成词云我们选取的是歌曲的周杰伦的听妈妈的话先看效果图首先,我们进去qq音乐找到这首歌网易云出来挨打 https://y.qq.com/n/yqq/song/002hXD ...
Python入门--爬取淘宝评论并生成词云
Python爬取淘宝评论并生成词云最新修改于2021/04/01 所需相关Python第三方库(目前最新版本即可) 推荐使用Anaconda,其使用十分方便.快捷. requests库 json库 ...
爬取京东评论、分词+词频统计、词云图展示
一.爬取京东评论京东评论竟然全部对外开放 public class CommentCrawler {final static PoolingHttpClientConnectionManager h ...
python词云代码手机_【云计算】爬取淘宝手机品牌词云分析（python）
本文主要向大家介绍了[云计算]爬取淘宝手机品牌词云分析(python),通过具体的内容向大家展现,希望对大家学习云计算有所帮助. 淘宝手机信息的爬取,请看这边博客(点击这里),然后我们利用其中保存的文 ...

爬取京东评论并生成词云

爬取京东评论并生成词云相关推荐

最新文章

热门文章