python网易云歌词做成词云图_讨好女朋友:用Python给女朋友做一个歌曲词云图
今天咋们来看看网易云赵雷的歌曲歌词,并做一个词云图。这篇文章可以学习到什么是词云,爬虫的基本流程,简单的可视化操作
一 什么是词云
可视化有很多种,好的数据可视化,可以使得数据分析的结果更加通俗易通。"词云"属于可视化的一种,它会根据关键词的出现频率生成一幅图,这样可以让我们一眼就知道其主要要点。比如下面
二 制作词云的步骤
1 第一步收集需要可视化的内容。
内容可以是文章内容,当然也可以是爬虫的内容。这里我们先使用NAB球星科比的材料作为内容。
2 安装词云库
wordcloud,安装方法如下(前提是电脑已经有了python环境和一些基础库哟,建议可以装个Anaconda,这样就少了很多依赖包的麻烦哟)
pip install wordcloud
pip install jieba--------中文库,因为我想展示中文内容
pip install PIL----------图像处理库
pip install matplotlib-----图像展示库
3 介绍下jieba中文库和下面会用到的wordcloud常用参数
(1) jieba简介
jieba中文库
它是python中文分词组件,具有三种分词模式
精确模式,试图将句子最精确的切开,比较适合文本分析
全模式,把句子中所有可以成词的都扫描出来,速度很快,但是不能解决歧义
搜索引擎模式,在精确模式的基础上对长词进行再次切分,适合用于搜索引擎分词
支持繁体分词
支持自定义词典
MIT授权协议
(2) jieba API
jieba.cut 接受三个参数
需要分词的字符串,可以是中文
- cut_all bollean类型的参数,用来控制是否采用全模式
- HMM参数用来控制是否采用HMM模型(隐马模型–后续进行相关学习)
jieba.cut_for_search 接受两个参数
需要分词的字符串,可以为中文
HMM参数用来控制是否采用HMM模型
它与jieba.cut 的最大区别就在于分词更加细腻,且会将全部的可能性输出,因此没有cut_all 参数
4 科比词云图制作测试代码1
#-*- coding:utf-8 -*
f='科比的职业生涯随湖人队5夺NBA总冠军(2000年-2002年、2009年-2010年);\
荣膺1次常规赛MVP(2007-08赛季),2次总决赛MVP(2009年-2010年),\
4次全明星赛MVP(2002年、2007年、2009年与2011年),\
与鲍勃·佩蒂特并列NBA历史第一;共18次入选NBA全明星阵容,15次入选NBA最佳阵容,12次入选NBA最佳防守阵容'
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
from PIL import Image as image
import numpy as np
#生成词云
def create_word_cloud(f):
print('根据词频计算词云')
text = " ".join(jieba.cut(f,cut_all=False, HMM=True))
wc = WordCloud(
font_path="./SimHei.ttf",#设置字体 针对中文的情况需要设置中文字体,否则会乱码
max_words=100,# 设置最大的字数
width=2000,#设置画布的宽度
height=1200,#设置画布的高度
)
wordcloud=wc.generate(text)
#写词云图片
wordcloud.to_file("wordcloud.jpg")
#显示词云文件
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
create_word_cloud(f)
```python
结果显示:
三 案例 网易云歌手赵雷的词云图
1 整体流程图
2 爬取+词云制作
(1) 我们先查看网易云的歌词API接口需要什么常用接口。发现需要一个ID。所以第一步访问url进入歌手界面,寻找规律得出歌手ID。
进入歌手页面 歌手页面
点击赵雷歌曲页面 赵雷歌曲页面。这里可以多点击几个歌手,就会发现不同的歌手页面不同的地方在URL后面的ID不同,
点击歌手名字,进入歌手页面,选中热门50首中div的id属性
因为我们需要每首歌的歌词,所以需要寻找歌曲的歌词连接,通常为a标签,所以我们往下看,用xpath解析出所有的a标签
def get_songs(artist_id):
page_url = 'https://music.163.com/artist?id=' + artist_id
# 获取网页HTML
res = requests.request('GET', page_url, headers=headers)
# 用XPath解析 前50首热门歌曲
html = etree.HTML(res.text)
href_xpath = "//*[@id='hotsong-list']//a/@href"
name_xpath = "//*[@id='hotsong-list']//a/text()"#获取
hrefs = html.xpath(href_xpath)
names = html.xpath(name_xpath)
# 设置热门歌曲的ID,歌曲名称
song_ids = []
song_names = []
for href, name in zip(hrefs, names):
song_ids.append(href[9:])
song_names.append(name)
print(href, ' ', name)
return song_ids, song_names
(2) 现在拼接我们的爬取歌词的url。http://music.163.com/api/song/lyric?os=pc&id=’ + song_id + ‘&lv=-1&kv=-1&tv=-1’
# 获取每首歌歌词
for (song_id, song_name) in zip(song_ids, song_names):
# 歌词API URL
lyric_url = 'http://music.163.com/api/song/lyric?os=pc&id=' + song_id + '&lv=-1&kv=-1&tv=-1'
lyric = get_song_lyric(headers, lyric_url)
all_word = all_word + ' ' + lyric
print(song_name)
(3) 去掉部分停用词比如作词,编曲等词语
# 去掉停用词
def remove_stop_words(f):
stop_words = ['作词', '作曲', '编曲', '人声', 'Vocal', '弦乐', 'Keyboard', '键盘', '编辑', '助理', 'Assistants', 'Mixing', 'Editing', 'Recording', '音乐', '制作', 'Producer', '发行', 'produced', 'and', 'distributed']
for stop_word in stop_words:
f = f.replace(stop_word, '')
return f
(4)整体代码
import requests
import re
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
import PIL.Image as image
from lxml import etree
headers = {
'Referer':'http://music.163.com',
'Host' :'music.163.com',
'Accept' :'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'User-Agent':'Chrome/10'
}
# 得到某一首歌的歌词
def get_song_lyric(headers, lyric_url):
res = requests.request('GET', lyric_url, headers=headers)
if 'lrc' in res.json():
lyric = res.json()['lrc']['lyric']
new_lyric = re.sub(r'[\d:.[\]]','',lyric)#去掉[]中的数字信息
return new_lyric
else:
return ''
print(res.json())
# 去掉停用词
def remove_stop_words(f):
stop_words = ['作词', '作曲', '编曲', '人声', 'Vocal', '弦乐', 'Keyboard', '键盘', '编辑', '助理', 'Assistants', 'Mixing', 'Editing', 'Recording', '音乐', '制作', 'Producer', '发行', 'produced', 'and', 'distributed']
for stop_word in stop_words:
f = f.replace(stop_word, '')
return f
# 生成词云
def create_word_cloud(f):
print('根据词频,开始生成词云!')
f = remove_stop_words(f)
cut_text = " ".join(jieba.cut(f,cut_all=False, HMM=True))
import numpy as np
mask=np.array(image.open(r"C:\Users\lj\Desktop\1.jpg"))
wc = WordCloud(
mask=mask,
font_path="./SimHei.ttf",
max_words=100,
width=2000,
height=1200,
)
print(cut_text)
wordcloud = wc.generate(cut_text)
# 写词云图片
wordcloud.to_file("wordcloud.jpg")
# 显示词云文件
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
# 得到指定歌手页面 热门前50的歌曲ID,歌曲名
def get_songs(artist_id):
page_url = 'https://music.163.com/artist?id=' + artist_id
# 获取网页HTML
res = requests.request('GET', page_url, headers=headers)
# 用XPath解析 前50首热门歌曲
html = etree.HTML(res.text)
href_xpath = "//*[@id='hotsong-list']//a/@href"
name_xpath = "//*[@id='hotsong-list']//a/text()"#获取
hrefs = html.xpath(href_xpath)
names = html.xpath(name_xpath)
# 设置热门歌曲的ID,歌曲名称
song_ids = []
song_names = []
for href, name in zip(hrefs, names):
song_ids.append(href[9:])
song_names.append(name)
print(href, ' ', name)
return song_ids, song_names
# 设置歌手ID,赵雷为6731
artist_id = '6731'
[song_ids, song_names] = get_songs(artist_id)
# 所有歌词
all_word = ''
# 获取每首歌歌词
for (song_id, song_name) in zip(song_ids, song_names):
# 歌词API URL
lyric_url = 'http://music.163.com/api/song/lyric?os=pc&id=' + song_id + '&lv=-1&kv=-1&tv=-1'
lyric = get_song_lyric(headers, lyric_url)
all_word = all_word + ' ' + lyric
print(song_name)
#根据词频 生成词云
if __name__ == '__main__':
create_word_cloud(all_word)
结果
python网易云歌词做成词云图_讨好女朋友:用Python给女朋友做一个歌曲词云图相关推荐
- python网易云歌词做成词云图_Python爬取李荣浩最短歌曲贝贝的网易云评论并做成词云图...
前言 在18 年的 10 月 17 号,李荣浩发了一张新专辑「耳朵」,专辑里有一首歌「贝贝」,只有 4 秒,歌词也就两个字.而且这首歌的作曲 .作词 .编曲.制作人.和声.录音师.混音师.录音室.混音 ...
- python网易云歌词做成词云图_Python实现海贼王的歌词组成词云图
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:一粒米饭 喜欢的朋友欢迎关注小编,除了分享技术文章之外还有很多福利, ...
- python网易云听歌时长_网易云一起听歌时间怎么不变_一起听歌为什么一直一分钟_3DM手游...
在网易云音乐中一起听歌的时候,是会显示用户听歌时间等信息的,但是有的小伙伴发现,自己听了很长时间的歌,听歌时长却一直不变,一直是1分钟,这是怎么回事呢?网易云一起听歌时间不变怎么办?下面我们就一起来看 ...
- python网易云听歌时长_用Python爬取10w条网易云音乐热评并进行分析的方法总结
有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用户到底如何成为网易云音乐评论里的热评 ...
- python3爬取网易云歌单数据清洗_利用Python网络爬虫抓取网易云歌词
今天小编给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下:找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本地. ...
- 小猿圈分享利用python网络爬虫获取网易云歌词
今天小猿圈给大家分享网易云音乐歌词爬取方法. 本文的总体思路如下: 找到正确的URL,获取源码: 利用bs4解析源码,获取歌曲名和歌曲ID: 调用网易云歌曲API,获取歌词: 将歌词写入文件,并存入本 ...
- python网易云爬虫——实现网易云歌词的爬取(输入歌手的id,即可实现歌词的爬取)
Python网易云爬虫--实现网易云歌词的爬取(输入歌手的id,即可实现歌词的爬取) 开始动手 打开网易云音乐,找到任意一位歌手的歌曲界面(我们以邓紫棋的<来自天堂的魔鬼>为例). 第一步 ...
- wpf 网易云歌词_网易云音乐粉丝半年涨500万,隔壁老樊为何成今年乐坛最大黑马 | 案例池...
隔壁老樊在记者对面坐下,手里拿着团队同事事先打印出来的媒体可能会问到的采访提纲,仔细读着.周围被工作人员包围,摄像机的镜头已经准备就绪,所有人等待他抬起头的那一刻正式开始当天的采访环节. 7月24日上 ...
- java 歌词_网易云歌词爬取(java)
网上也有很多人写过的,但感觉可能都不是很细,特此写了一份,不足之处请大家多多包涵 就以这首为例,给大家分享一下网易云歌词的获取 F12找到歌词的请求地址 0 通过观察可以发现就是这params和enc ...
最新文章
- python处理图片文件_python 学习(二)处理图片、TXT文档
- 独家 | 一文盘点数据行业的动态演变(附链接)
- Material Design之ActionBar、ToolBar
- 号称史上最牛逼的几篇博客整理(python+java+js等)
- framebuffer结构体分析
- python读文件操作-python文件操作读取文件写入文件
- CSS中的px与物理像素、逻辑像素、1px边框问题
- 仿链家地图找房_我在深圳的第一个家 是在有着6000套房的工业区里
- wampserver橙色如何变成绿色_绿色配什么颜色好看 家居绿色配色小技巧-装修攻略...
- Opencv笔记(二十一)——傅里叶变换
- JAVA 获取音频文件(ogg格式)毫秒时长
- 人工智能实验-使用遗传算法求函数最值
- MJ上下拉刷新的使用方法 -2018.9.29
- 物联网应用-分布式对象储存工具-MinIO 对象存储win部署及使用
- C#: 解决Fody is only supported on MSBuild 16 and above
- 在特定时间段内显示隐藏,判断日期活动是否开启结束
- 【C语言】字符串小练习(每日小细节012)
- tensorflow 图片批处理--- tf.train.batch
- 集团资金管理BI分析的三个关键节点
- 三菱PLC FX3U-48MRT源码,原理图,PCB全套资料
热门文章
- 计算机专硕调剂冷门专业,考研招不满的冷门专业 其实很好就业
- DW学生个人网站制作:电影网站设计——电影请以你的名字呼唤我(4页) HTML+CSS+JavaScript 简单DIV布局个人介绍网页模板代码
- 使用华为云服务器搭建一个网站
- iOS学习—禁止截屏/截屏隐藏指定内容
- 计算机视觉三大基本任务:分类、检测(定位)、分割(语义和实例)
- 为什么要发展跨境电商?
- .\Objects\stm32f4.axf: Error: L6320W 错误分析
- LU分解(LU Factorization)计算方法(手算+MATLAB),关于置换矩阵(Permutation Matrix),部分主元消去法(Partial Pivoting)
- CentOS服务器网络ping不通
- 2021年保育员(中级)最新解析及保育员(中级)模拟考试题库