一、抓数据

要想做成词云图表,首先得有数据才行。于是需要一点点的爬虫技巧。

基本思路为:抓包分析、加密信息处理、抓取热门评论信息

1.抓包分析

我们首先用浏览器打开网易云音乐的网页版,进入薛之谦《摩天大楼》歌曲页面,可以看到下面有评论。接着F12进入开发者控制台(审查元素)。

接下来就要做的是,找到歌曲评论对应的url,并分析验证其数据跟网页现实的数据是否吻合

整理思路,分析api并模拟发送请求,获取json解析就好了

2.加密信息处理

然后经过测试,直接把浏览器上这俩数据拿过来就可以。但是要想真正的解决这个加密处理,还需要有点加解密的只是存储

3.抓取热门评论信息

二、数据可视化

在获得相关评论数据后,我们将其做成图表与词云图,将让人看起来更直观。

接下来需要在自己电脑上安装需要相关的安装包: pyecharts(图表包)、matplotlib(绘图功能包)、 WordCloud(词云包)

import requests

import json

from pyecharts import Bar

from wordcloud import WordCloud

import matplotlib.pyplot as plt

url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_551816010?csrf_token=568cec564ccadb5f1b29311ece2288f1'

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

'Referer':'http://music.163.com/#/album?id=38388012',

'Origin':'http://music.163.com',

'Host':'music.163.com'

}

#加密数据,直接拿过来用

user_data = {

'params': 'vRlMDmFsdQgApSPW3Fuh93jGTi/ZN2hZ2MhdqMB503TZaIWYWujKWM4hAJnKoPdV7vMXi5GZX6iOa1aljfQwxnKsNT+5/uJKuxosmdhdBQxvX/uwXSOVdT+0RFcnSPtv',

'encSecKey': '46fddcef9ca665289ff5a8888aa2d3b0490e94ccffe48332eca2d2a775ee932624afea7e95f321d8565fd9101a8fbc5a9cadbe07daa61a27d18e4eb214ff83ad301255722b154f3c1dd1364570c60e3f003e15515de7c6ede0ca6ca255e8e39788c2f72877f64bc68d29fac51d33103c181cad6b0a297fe13cd55aa67333e3e5'

}

response = requests.post(url,headers=headers,data=user_data)

data = json.loads(response.text)

hotcomments = []

for hotcommment in data['hotComments']:

item = {

'nickname':hotcommment['user']['nickname'],

'content':hotcommment['content'],

'likedCount':hotcommment['likedCount']

}

hotcomments.append(item)

#获取评论用户名,内容,以及对应的获赞数

content_list = [content['content'] for content in hotcomments]

nickname = [content['nickname'] for content in hotcomments]

liked_count = [content['likedCount'] for content in hotcomments]

bar = Bar("热评点赞示例图")

bar.add( "点赞数",nickname, liked_count, is_stack=True,mark_line=["min", "max"],mark_point=["average"])

bar.render()

content_text = " ".join(content_list)

wordcloud = WordCloud(font_path=r"C:\simhei.ttf",max_words=200).generate(content_text)

plt.figure()

plt.imshow(wordcloud,interpolation='bilinear')

plt.axis('off')

plt.show()

转载于:https://juejin.im/post/5be82f865188251e1f50ba5b

python爬取歌曲评论并进行数据可视化相关推荐

  1. python爬取歌曲评论_python 爬取歌曲评论的简单示例

    这篇文章主要为大家详细介绍了python 爬取歌曲评论的简单示例,具有一定的参考价值,可以用来参考一下. 感兴趣python 爬取歌曲评论的简单示例的小伙伴,下面一起跟随512笔记的小编罗X来看看吧. ...

  2. python爬取歌曲评论_python+requests爬取豆瓣歌曲评论

    1 #-*- coding: utf-8 -*- 2 ''' 3 Created on 2018年8月14日4 5 @author: zww6 7 ''' 8 importtime9 importre ...

  3. Python爬取歌曲评论

    听歌这么可以不看评论,接下来教大家爬取某云的歌曲热评,制作成词云图 话不多说 直接开始 环境使用 Python 3.8 解释器 3.10 Pycharm 2021.2 专业版 selenium 3.1 ...

  4. 通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据

    本文主要通过爬取天猫商品kindle的评论为例来说明利用python爬取ajax动态生成的数据的方式,本文使用的工具如下: 工具 chrome浏览器[寻找评论的动态链接] python3.5[执行代码 ...

  5. python爬取微博评论(无重复数据)

    python爬取微博评论(无重复数据) 前言 一.整体思路 二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址 三.获取主评论 四.获取子评论 1.解析子评论2.获 ...

  6. python3爬取微博评论教程_用python 爬取微博评论,怎么打开微博评论下的查看更多|...

    怎样用python爬新浪微博大V所有数据 先上结论,通过公开的api如爬到某大v的所有数据,需足以下两个条件: 1.在你的爬虫开始运行时,该大v的所有微博发布量没有超过回溯查询的上限,新浪是2000, ...

  7. 如何使用python编程抢京东优惠券 知乎_学好Python爬取京东知乎价值数据

    原标题:学好Python爬取京东知乎价值数据 Python爬虫为什么受欢迎 如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这 ...

  8. 分析网易云歌曲评论分析加密的JS并且解密,并使用Python抓取歌曲评论

    转载自分析网易云歌曲评论分析加密的JS并且解密,并使用Python抓取歌曲评论 - 『编程语言区』 - 吾爱破解 - LCG - LSG |安卓破解|病毒分析|www.52pojie.cn 原文无法显 ...

  9. 看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云

    简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...

最新文章

  1. centos7 php安装
  2. five months plan
  3. 数据中心运维认证中的管理要求
  4. SAP CRM SPRO Customizing 里 Text Object 属性 continue 的含义
  5. Network Virtualization In Solaris 11
  6. 全局索引 前缀索引_面试系列 索引种类与优化
  7. 历届二级c语言pdf,历年全国计算机二级C语言题库.pdf
  8. 账龄分析表excel模板_老会计分享财务报表及EXCEL会计报表分析系统模板!收藏领取!...
  9. 电工电子技术计算机用学吗,电工电子技术第4版学习指导与习题解答(电子电气基础课程规划教材)...
  10. 阿里云服务器防止ddos被攻击
  11. 印度的“健康码”:Aarogya Setu为何会失败?
  12. 《一文搞懂NMS发展历程》Soft-NMS、Weighted NMS、IoU-Net、Softer-NMS、Adaptive NMS、DIoU-NMS
  13. 开关二极管的作用是什么
  14. SQL注入的一般过程
  15. 写给30岁以下年轻人的话,人生的感悟,不是鸡汤,愿你们的人生少走弯路。
  16. Beyond Compare 设置
  17. 【昇腾310】【mindspore-ascend ckpt转air功能】运行时报缺少libacl_tdt_channel.so
  18. 如何安全地打开远程桌面,防止被勒索病毒攻击?
  19. oracle数据库进程pmon,【案例】Oracle进程异常 pmon和LISTENER进程负载均比较高的解决办法...
  20. 希沃集控系统流媒体服务器未开启,希沃集控 | 轻松掌控区域信息化情况

热门文章

  1. java ehcahce刷新_springboot结合ehcache防止恶意刷新请求的实现
  2. xmm1是什么器件_数字电路实验指导书
  3. 阿里云mysql 日志_mysql日志-阿里云开发者社区
  4. 计算机桌面为什么总是换,你的电脑桌面是什么,
  5. 将解决方案和项目放在同一目录中_借助CADENAS 3D电子目录,巴鲁夫使用CAE数据扩展其产品目录...
  6. SQL:REGEXP
  7. SQL Server 统计信息更新时采样百分比对数据预估准确性的影响
  8. map和list遍历基础
  9. C# FolderBrowserDialog 的用法
  10. 解决Winform程序在不同分辨率系统下界面混乱问题