爬取网易云音乐播放量大于1000万的爬虫代码

# -*- coding: utf-8 -*-
#原博客：http://python.jobbole.com/89091/#article-comment。本人做了部分错误的修改，下面是在Anaconda的spyder下运行通过的代码，elenium2.48.0版本，Selenium最新版本不再支持PhantomJS
#动态网页爬虫
"""
Created on Tue Jan 8 08:46:03 2019
'''http://python.jobbole.com/89091/'''
@author: T
"""
from selenium import webdriver
import csv
#网易云音乐歌单第一页的url
#http://jr.jd.com
url = 'https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0'

#用PhantomJs创建一个Selenium的WebDRriver
#driver = webdriver.PhantomJS(executable_path='D:\DELL Program Files\Anaconda-python3.6\Scripts\phantomjs.exe')
driver = webdriver.PhantomJS()
#准备好存储歌单的csv文件
csv_file = open("playlist.csv","w",newline='',encoding='utf-8-sig')
writer = csv.writer(csv_file)
writer.writerow(['标题','播放数','链接'])

#解析每一页，直到下一页为空
while url != 'javascript:void(0)':
#用webDriver加载页面
driver.get(url)
#切换到内容的iframe
driver.switch_to.frame('contentFrame')
#定位歌单标签
data = driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")
#解析一页中的所有歌单
for i in range(len(data)):
#获取播放数
nb = data[i].find_element_by_class_name("nb").text
#print nb
if '万' in nb and int(nb.split("万")[0])>500:
#获取播放量大于500万的歌单的封面
msk = data[i].find_element_by_css_selector("a.msk")
#把封面上的标题和链接连同播放数一起写到文件中
writer.writerow([msk.get_attribute('title'),nb,msk.get_attribute('href')])
#定位下一页
url = driver.find_element_by_css_selector("a.zbtn.znxt").get_attribute('href')
csv_file.close()

爬取网易云音乐播放量大于1000万的爬虫代码相关推荐

Python网络爬虫实践（1）：爬取网易云音乐播放量大于1000万的歌单
Python网络爬虫实践(1) 一.需求分析爬取网易云音乐播放量大于1000万的歌单. 二.实施步骤 1.安装selenium selenium是一个用于Web应用自动化程序测试的工具,测试直接运行 ...
Python爬取网易云音乐歌手歌曲和歌单（爬虫）
Python爬取网易云音乐歌手歌曲和歌单是仅供学习参考 Python爬取网易云音乐网易云音乐歌手歌曲和歌单,并下载到本地 ①找到要下载歌手歌曲的链接,这里用的是: https://music.16 ...
Scrapy 爬取网易云音乐播放量百万以上的歌单以及歌单详情
创建爬虫查看歌单链接 https://music.163.com/#/discover/playlist 用 requests 下载此链接的网页发现不是原网页,应该是被跳转到了登录页面.分析之后得到 ...
如何用 Python 爬取网易云音乐的 10w+ 评论？附详细代码解读
在简单学习了Python爬虫之后,我的下一个目标就是网易云音乐.因为本人平时就是用它听的歌,也喜欢看歌里的评论,所以本文就来爬一爬网易云音乐的评论吧! 正式进入主题首先是找到目标网页并分析网页结构, ...
使用Puppeteer轻松爬取网易云音乐、QQ音乐的精品歌单
背景最近在学习Puppeteer进行自动化操作,另一方面为了防止上班时间被打扰,是时候爬点歌单在上班的时候,用来抵抗外界的干扰了. 地址项目完整代码地址:github.com/BingKui/We ...
python爬音乐评论生成词云图_python爬虫+词云图，爬取网易云音乐评论
又到了清明时节,用python爬取了网易云音乐<清明雨上>的评论,统计词频和绘制词云图,记录过程中遇到一些问题爬取网易云音乐的评论一开始是按照常规思路,分析网页ajax的传参情况.看到 ...
Python爬虫—爬取网易云音乐【热歌榜】歌曲的精彩评论（写入txt文本文件或者MySQL数据库）
最近在学Python爬虫,看了Blibili爬取网易云音乐评论的视频,视频中是将一首歌的评论存入json文件,我在此代码的基础上扩展了三点: 1.爬取热歌榜200首歌曲的精彩评论: ...
python爬虫音乐图片的感受_python爬虫+词云图，爬取网易云音乐评论
又到了清明时节,用python爬取了网易云音乐<清明雨上>的评论,统计词频和绘制词云图,记录过程中遇到一些问题爬取网易云音乐的评论一开始是按照常规思路,分析网页ajax的传参情况.看到 ...
Python Scrapy 多线程爬取网易云音乐热门歌单信息（手把手教学）
下面我将向大家介绍使用 Scrapy 爬虫获取网易云音乐的热门歌单信息. 这里是网易云音乐的歌单页面,可以看到歌单信息非常得结构化,是非常适合爬虫来爬取的. URL:全部歌单 - 歌单 - 网易云 ...

爬取网易云音乐播放量大于1000万的爬虫代码

爬取网易云音乐播放量大于1000万的爬虫代码相关推荐

最新文章

热门文章