爬取网易云音乐解析页面数据的三种方法

from selenium import webdriver
from lxml import etree
import time,re

准备动作

#以张学友为例
driver = webdriver.Chrome()
down_url = ‘http://music.163.com/song/media/outer/url?id=’
driver.get(‘https://music.163.com/#/artist?id=6460’)
driver.switch_to.frame(‘g_iframe’)
time sleep(1)
html = driver.page_source

第一种方法：etree方法获取数据

data = etree.HTML(html)
ids = data.xpath('//div[@class="ttc"]/span/a/@href')#//=span,下面是例子
names = data.xpath('//div[@class="ttc"]//a/b/@title')
j=0
for id,name in zip(ids,names):i = id.split('=')[-1]j += 1down_link=down_music_url+i+'.mp3'print(j, name,down_link)

第二种方法：re正则表达式提取数据

data = re.findall('href="/song\?id=(.*?)">',html)
name = re.findall('b title="(.*?)"',html)
i = 0
for id,mc in zip(data,name):n = mc.replace('&nbsp;','')i += 1print(i,id,n)

第三种方法：selenium直接页面获取数据

data = driver.find_elements_by_xpath('//div[@class="ttc"]/span/a')
for id in data:i = id.get_attribute('href').split('=')[-1]name = id.get_attribute('text')url = down_url+i+'.mp3'print(url)

总结并记录下来，供参考，不足之处还请指点

爬取网易云音乐解析页面数据的三种方法相关推荐

python爬取网易云音乐薛之谦歌词数据，生成词云
老薛最近频频上热搜,因为老薛的歌大部分是自己作词,所以感觉他的歌词和他应该有某种情感表达和联系吧. 于是用python爬了网易云音乐中老薛的歌词数据,并简单用wordcloud写了个词云统计. 难过, ...
Python Scrapy 多线程爬取网易云音乐热门歌单信息（手把手教学）
下面我将向大家介绍使用 Scrapy 爬虫获取网易云音乐的热门歌单信息. 这里是网易云音乐的歌单页面,可以看到歌单信息非常得结构化,是非常适合爬虫来爬取的. URL:全部歌单 - 歌单 - 网易云 ...
python爬取网易云音乐排行榜数据
python爬取网易云音乐排行榜歌曲及评论网易云音乐排行榜歌曲及评论爬取主要注意问题:selenium 模拟登录.iframe标签定位.页面元素提取. 在利用selenium定位元素并取值的过程中 ...
Selenium解决动态渲染页面----爬取网易云音乐全部评论
爬取网易云音乐全部评论,我们先随便找一首歌,这里以毛不易的水乡为例.毛不易–水乡一.常规方法 1. 尝试直接爬取先直接用歌曲链接直接爬取 import requests#URL url = 'ht ...
Python网络爬虫实践（1）：爬取网易云音乐播放量大于1000万的歌单
Python网络爬虫实践(1) 一.需求分析爬取网易云音乐播放量大于1000万的歌单. 二.实施步骤 1.安装selenium selenium是一个用于Web应用自动化程序测试的工具,测试直接运行 ...
Selenium爬取网易云音乐评论
Selenium爬取网易云音乐评论一.爬取工具 1.1 selenium selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库. Sele ...
python爬虫No.1|爬取网易云音乐歌手的前50首歌曲ID及名字
自学pythonのNo.5 引语知识总结 Requests XPath 案例曾经有这样的梗黑网易云音乐实际上网易云是很不错的音乐软件之一.这个梗挺让我不舒服的,挫折谁都有,矫情没必要但对矫情之人 ...
Python爬虫—爬取网易云音乐【热歌榜】歌曲的精彩评论（写入txt文本文件或者MySQL数据库）
最近在学Python爬虫,看了Blibili爬取网易云音乐评论的视频,视频中是将一首歌的评论存入json文件,我在此代码的基础上扩展了三点: 1.爬取热歌榜200首歌曲的精彩评论: ...
python爬取网易云音乐生成王力宏歌曲词云
python爬取网易云音乐生成王力宏歌曲词云 # -*- coding:utf-8 -*- # 网易云音乐,通过歌手id生成词云 import requests import sys,re,os fr ...
python爬虫爬取网易云音乐歌曲_Python网易云音乐爬虫进阶篇
image.png 年前写过一篇爬网易云音乐评论的文章,爬不了多久又回被封,所以爬下来那么点根本做不了什么分析,后面就再改了下,加入了多线程,一次性爬一个歌手最热门50首歌曲的评论,算是进阶版了- 思 ...

爬取网易云音乐解析页面数据的三种方法

爬取网易云音乐解析页面数据的三种方法

准备动作

第一种方法：etree方法获取数据

第二种方法：re正则表达式提取数据

第三种方法：selenium直接页面获取数据

爬取网易云音乐解析页面数据的三种方法相关推荐

最新文章

热门文章