Python爬取网易云歌曲评论,做词云分析
前言
emmmm 没什么说的,想说的都在代码里
环境使用
- Python 3.8 解释器 3.10
- Pycharm 2021.2 专业版
- selenium 3.141.0
本次要用到selenium模块,所以请记得提前下载好浏览器驱动,配置好环境
代码实现
先是安装、导入所需模块
from selenium import webdriver # 导入浏览器的功能
import re # 正则表达式模块, 内置
import time # 时间模块, 程序延迟
1. 创建一个浏览器对象
driver = webdriver.Chrome()
2. 执行自动化
driver.get('https://music.163.com/#/song?id=488249475')
# selenium无法直接获取到嵌套页面里面的数据
driver.switch_to.frame(0) # switch_to.frame() 切换到嵌套网页
driver.implicitly_wait(10) # 让浏览器加载的时候, 等待渲染页面
下拉页面, 直接下拉到页面的底部
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js)
3.解析数据
divs = driver.find_elements_by_css_selector('.itm') # 所有div css语法: 定位到 html 数据/xpath/正则for div in divs:cnt = div.find_element_by_css_selector('.cnt.f-brk').textcnt = re.findall(':(.*)', cnt)[0] # 中英文有区别print(cnt)
保存数据
翻页
for page in range(10): # 控制翻页 速度太快# 翻页 , 找到下一页标签, 点击?driver.find_element_by_css_selector('.znxt').click()time.sleep(1)
# selenium 欲速则不达
保存为txt文件
with open('contend.txt', mode='a', encoding='utf-8') as f:f.write(cnt + '\n')
运行代码得到结果
再做个词云
导入相关模块
import jieba # 中文分词库 pip install jieba
import wordcloud # 制作词云图的模块 pip install wordcloud
import imageio
读取文件数据
with open('contend.txt', mode='r', encoding='utf-8') as f:txt = f.read()
print(txt)
词云图 分词<中文(词语)> 基于结果
txt_list = jieba.lcut(txt)
print('分词结果:', txt_list)
合并
string_ = ' '.join(txt_list) # 1 + 1 = 2 字符串的基本语法
print('合并分词:', string_)
创建词云图
wc = wordcloud.WordCloud(width=1000, # 图片的宽height=800, # 图片的高background_color='white', # 图片的背景色font_path='msyh.ttc', # 微软雅黑scale=15, # 词云图默认的字体大小# mask=img, # 指定词云图的图片# 停用词< 语气词, 助词,....stopwords=set([line.strip() for line in open('cn_stopwords.txt', mode='r', encoding='utf-8').readlines()] )
)
print('正在绘制词云图...')
wc.generate(string_) # 绘制词云图
wc.to_file('out.png') # 保存词云图
print('词云图绘制完成...')
最后效果
Python爬取网易云音乐、评论、歌词数据
Python爬取网易云歌曲评论,做词云分析相关推荐
- python爬取网易云音乐评论并进行可视化分析
2019独角兽企业重金招聘Python工程师标准>>> 前言 今天为大家一个爬取网易云音乐评论的Python案例,并用Python的第三方库来进行可视化分析,生成图表样式,可以清晰地 ...
- python爬取网易云音乐评论分析_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
- 网易云词云python_Python3爬取网易云音乐评论制作词云!网易云评论人才辈出啊!...
主要思路 利用Python爬取网易云音乐中相应歌曲的所有评论,并利用这些评论制作歌曲的专属词云. 具体过程见相关文件中的源代码. 开发工具 Python版本:3.5.4 相关模块: requests模 ...
- 如何用Python爬取网易云歌曲?秘诀在这~
说到近年来程序界最火的事情是什么呢?您一定会想到Python的兴起.根据研究,Python已经成为排名前三的语言.也许你会困惑,Python能这么火的原因是什么呢? 首先是Python工具上手很快,它 ...
- python爬取网易云音乐评论分析_Python爬取网易云音乐评论(附加密算法)
网易云音乐,里面汇聚了哲学家,小说家,story-teller,皮皮虾等各种人才,某些评论非常值得收藏(甚至开了一个歌单专门收藏它们).竟然这么好玩,何不尝试把他们爬取下来呢? 前置需求 可选:fid ...
- Python爬取网易云音乐评论,反爬算啥啊!
兴趣点: 这个网易云音乐的评论我早就想爬了,可惜技术不行,研究了两天的时间我终于用最简单的方法实现了网易云音乐评论的爬取,我以毛不易的<像我这样的人>为例来介绍一下 爬取网站: 虚假的爬取 ...
- python爬取网易云歌曲名字
之前都是按部就班的往下写, 终于尝试在爬虫里写函数了 网址:https://music.163.com/#/artist?id=9272,爬取这50首歌的名字.分析网址:网易云主页是https://m ...
- Python爬虫之js加密破解,抓取网易云音乐评论生成词云
js破解历程 前言 技能点 界面概况 静态网页动态网页 页面解析 step1: 找参数step2:分析js函数step3:分析参数step4: 校验step5:转为python代码 编写爬虫 很多人学 ...
- 爬虫之js加密破解抓取网易云音乐评论生成词云
js破解历程 前言 技能点 界面概况 静态网页 动态网页 页面解析 step1: 找参数 step2:分析js函数 step3:分析参数 step4: 校验 step5:转为python代码 编写爬虫 ...
最新文章
- 奕新集团--RAC环境后续
- stagefright框架概述
- 举头望明月打计算机术语,精选有关月亮的灯谜大全
- BLE 安全之虫洞攻击
- 服务器虚拟机网卡怎么配置文件,VMWARE复制虚拟机之后,需重新配置网卡(CENTOS 6)...
- 学了Python就能上手业务?你还差得远!
- python如何使用文件_Python的文件操作
- spring boot微服务通用部署启动脚本
- 第60课 比特超市 《小学生C++趣味编程》
- Bootstrap 响应式布局辅助类
- java map 更新_更新Map键的值java
- 谷歌浏览器整个网页截图方法
- SVM实现鸢尾花分类
- 路由器不开机——维修更换MT7621AT CPU
- Sematic UI框架的学习-button样式(2)
- 职业经理人影响力自检手册(二)
- 电脑鼠标不管用但键盘可以用怎么办
- 关于编程语言和编程工具
- okio篇3-超时机制
- HPUX系统启动后主机名为unknown的解决办法
热门文章
- revit enscape桥梁渲染
- 2019年 Vue 组件库大评测 Element, iView, HeyUI, Ant Design Vue
- matlab非线性相位fir,数字信号处理实验 matlab版 线性相位FIR数字滤波器
- 万物云明日上市:估值超500亿港元 瑞轩与达丰成高位接盘侠
- 印度斯坦航空有限公司开发RUAV无人货运直升机-我爱无人机网
- 【WP应用推荐】拓词
- 入行数据分析,这几本书是你需要看的,良心推荐!
- 数字资产存在万圣节效应吗?
- 【Windows美化】:修改磁盘或U盘默认图标(常见方式与无需重启、可随时修改、支持中文文件名的独家方式)
- 四针手表指的是什么_欧米茄碟飞系列手表四针用途