java爬取网易云歌单_爬取网易云音乐所有歌单

网易云音乐歌单首页

歌单第二页链接

歌单第三页链接

可以看出只有最后的数字在变化，所以进行url的构造，然后开始爬取

import csv

from lxml import etree

import requests

from multiprocessing.dummy import Pool

import time

headers = {

'Referer':'http://music.163.com/',

'Host':'music.163.com',

# 'User-Agent':'Mozilla/5.0 (X11: Linux *86_64; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.3.0',

'User-Agent': 'Mozilla/5.0 (X11: Linux *86_64; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.3.0',

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

}

wangyi='http://music.163.com'

base_url='http://music.163.com/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset={}'

urlList=[] #保存构造出的链接

def totalPage():

for i in range(0,1300,35):

url=base_url.format(i)

urlList.append(url)

def getData(url):

r=requests.get(url,headers=headers)

html=etree.HTML(r.text)

MFlist=html.xpath("//p[@class='dec']/a/text()")

MFurl=html.xpath("//p[@class='dec']/a/@href")

LisNum=html.xpath("//span[@class='nb']/text()")

for i in range(len(MFlist)):

write.writerow([MFlist[i],wangyi+MFurl[i],LisNum[i]])

time.sleep(3) #延时，防止IP被封

f=open('Allmusicform.csv','a+',newline='',encoding='utf-8')

write=csv.writer(f)

p=Pool(4)

totalPage()

p.map(getData,urlList)

p.close()

分别爬取了歌单名称、url、播放次数

java爬取网易云歌单_爬取网易云音乐所有歌单相关推荐

python爬取网页表格数据匹配_爬取表格类网站数据并保存为excel文件
本文转载自以下网站:50 行代码爬取东方财富网上市公司 10 年近百万行财务报表数据 https://www.makcyun.top/web_scraping_withpython6.html 主要学 ...
计算机的30首流行音乐,2019歌曲排行榜单_快手最火歌曲2019流行歌单排行榜单一览表快手最火歌...
快手最火歌曲2019流行歌单排行榜单一览表快手最火歌曲都有哪几首? 快手最火歌曲都有哪几首?下面,小编带你了解快手最火歌曲2019流行歌单排行榜单. 快手最火歌曲2019流行歌单排行榜单一览表一. ...
齐家网php源码_上海齐家网装修多少钱-装修公司
上海齐家网团购怎么样我们家里当时是参加的城团网的团购会团购的~有贴心的水和午餐~就连小手掌和装订单用的拉链包都已经准备好了~可以说细节是无微不至~话说城团网活动真的是场场爆满~我好几次去晚了都没有椅 ...
python爬取裁判文书并分析_裁判文书网爬虫攻克
最近因为公司需要爬取裁判文书网的某一类别文章数据,于是简单研究了一下,发现网站数据全是js加载的,于是想都没想直接用selenium尝试爬取,没想到竟然有selenium都抓取不到的js(刚毕业的py ...
python爬取饿了么评论_爬取饿了么官网数据 scrapy
展开全部 Scrapy框架的初步运用上午刚配置好scrapy框架,32313133353236313431303231363533e58685e5aeb931333363393734下午我就迫不及待 ...
用python爬虫爬取东方财富网信息网页信息_爬取东方财富网数据的网页分析
自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰.当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片--[流口水][流口水] 言归正传,近期学习量化交易知识,发现东方财富网(e ...
美国网红python图片_爬取网红小姐姐图片（简单入门）
简单爬虫安装第三方库请求页面解析网页保存图片安装第三方库安装第三方请求库(requests) pip install requests 请求页面请求成功了存在特殊情况:请求失败原因八 ...
python爬取歌词生成词云图_爬取毛不易歌词作词云展示
爬取毛不易歌词作词云展示今天我们做一个数据可视化的项目,爬取毛不易的歌词做词云展示. 1.爬取数据我们主要使用 Python 爬虫获取 HTML,用 XPath 对歌曲的 ID.名称进行解析,然后 ...
python爬取热门新闻每日排行_爬取网易新闻排行榜
#网络爬虫之最基本的爬虫:爬取[网易新闻排行榜](http://news.163.com/rank/) **一些说明:** * 使用urllib2或requests包来爬取页面. * 使用正则表达式分 ...
unity图片变成马赛克如何取像素并改变颜色_爬取微信好友头像完成马赛克拼图！千张头像拼成海贼王！...
马赛克拼图何谓马赛克拼图(千图成像),简单来说就是将若干小图片平凑成为一张大图,如下图路飞一样,如果放大看你会发现里面都是一些海贼王里面的图片. Our Tragets 爬取所有微信好友的头像将所 ...

java爬取网易云歌单_爬取网易云音乐所有歌单

java爬取网易云歌单_爬取网易云音乐所有歌单相关推荐

最新文章

热门文章