Python利用selenium简单的爬取网易云歌曲排行榜

最近学习了一下selenuim和XPath,技术还很菜,简单的爬取了一下网易云歌曲的排行榜信息,最后保存到mongodb里面

要爬取的部分如下图所示:

爬取每个歌曲的排名,名称,时长,歌手。

创建mongodb连接对象,指定数据库和集合

# 创建mongodb连接对象
client = pymongo.MongoClient(host='localhost',port = 27017)
# 指定数据库
db = client.test
# 指定集合
collection = db.songList

创建Chrome浏览器对象,调用get()方法访问页面。

# 导入包
from selenium import webdriver
# 创建浏览器对象
driver = webdriver.Chrome()
# 访问页面
driver.get('https://music.163.com/')

然后在网易云音乐首页点击排行榜进入要爬取的页面,利用selenium查找节点和点击的功能可以完成这些操作。

# 利用find_element_by_xpath()方法找到排行榜按钮的节点,click()完成点击操作。
driver.find_element_by_xpath('//*[@id="g_nav2"]/div/ul/li[2]/a/em').click()

到了排行榜页面需要注意的是,歌曲的信息在子Frame里面,光查找节点是找不到的,需要先切换到Frame里面,利用switch_to.frame()方法切换。

# 括号中的参数可以输入iframe标签的id值或者name值
driver.switch_to.frame('contentFrame')

后面的就是数据的提取,

# 获取所有的歌曲信息的节点
# 括号中的xpath路径写法有多种,看自己习惯
divs = driver.find_elements_by_xpath('//*[@class="g-wrap12"]//tr[contains(@id,"1")]')
# 依次遍历每一首歌曲提取信息
for div in divs:# 名称# 在xpath路径中要注意的一点是,最前面需要加上一个. 这样才能选取到当前要遍历的节点,要不然最终是匹配不到的,只能永远匹配到第一个歌曲的信息name = div.find_element_by_xpath('.//div[@class="ttc"]//b').get_attribute('title')# 排名rank = div.find_element_by_xpath('.//span[@class="num"]').text# 时长times = div.find_element_by_xpath('.//span[@class="u-dur "]').text# 歌手singer = div.find_element_by_xpath('./td/div[@class="text"]/span').get_attribute('title')# 提取完每一个歌曲的信息保存到mongodb里面song = {'rank':rank,'name':name,'time':times,'singer':singer}collection.insert_one(song)

保存到mongodb结果如下：

最后源代码如下：

from selenium import webdriver
import pymongo
import timedef main():driver.find_element_by_xpath('//*[@id="g_nav2"]/div/ul/li[2]/a/em').click()driver.switch_to.frame('contentFrame')time.sleep(2)divs = driver.find_elements_by_xpath('//*[@class="g-wrap12"]//tr[contains(@id,"1")]')for div in divs:# 名称name = div.find_element_by_xpath('.//div[@class="ttc"]//b').get_attribute('title')# 排名rank = div.find_element_by_xpath('.//span[@class="num"]').text# 时长times = div.find_element_by_xpath('.//span[@class="u-dur "]').text# 歌手singer = div.find_element_by_xpath('./td/div[@class="text"]/span').get_attribute('title')song = {'rank':rank,'name':name,'time':times,'singer':singer}collection.insert_one(song)if __name__ == '__main__':client = pymongo.MongoClient(host='localhost',port = 27017)db = client.testcollection = db.songListdriver = webdriver.Chrome()driver.get('https://music.163.com/')main()

Python利用selenium简单的爬取网易云歌曲排行榜相关推荐

python爬取网易云音乐排行榜数据
python爬取网易云音乐排行榜歌曲及评论网易云音乐排行榜歌曲及评论爬取主要注意问题:selenium 模拟登录.iframe标签定位.页面元素提取. 在利用selenium定位元素并取值的过程中 ...
爬取网易云歌曲榜单中网易云歌曲及其对应id xpath csv re requests python
基操爬取网易云歌曲榜单中网易云歌曲及其对应id 回顾xpath csv re requests 先进行基础抓包! 1 2 3 然后就是代码啦,兄弟们,我的代码都很完整,看懂思路,直接收藏复制粘贴就可以 ...
python3之Scrapy+Selenium切换iframe抓取网易云音乐排行榜
Scrapy+Selenium切换iframe抓取网易云音乐排行榜 iframe标签 Selenium (WEB自动化工具) Scrapy 框架 iframe标签了解一下iframe 百度百科介绍的 ...
Python爬取网易云歌曲评论，做词云分析
前言 emmmm 没什么说的,想说的都在代码里环境使用 Python 3.8 解释器 3.10 Pycharm 2021.2 专业版 selenium 3.141.0 本次要用到selenium模块 ...
python播放在线音乐_Python爬取网易云音乐播放地址
本帖最后由 bbbbbd 于 2017-9-25 12:13 编辑 Python爬取网易云音乐播放地址运行环境:Python2.7 一.分析目标网站首先打开网易云音乐的官网,在搜索列表中随便搜索一 ...
【python爬虫自学笔记】-----爬取网易云歌单中歌曲歌词
工具:python3.6 ,pycharm 个人歌单的链接地址为https://music.163.com/#/playlist?id=2251736705 开始对网页的内容进行爬取的时候,使用req ...
python爬取网易云音乐排行榜歌单热评（完整版）
完整版的爬取网易云音乐的排行榜单,和推荐榜单,热评直接上代码,代码写的很清楚为了防止被封我们先做个随机获取User_Agent """随机获取请求头"&qu ...
用Python给我写一个爬取网易云的音乐代码
好的,为了爬取网易云音乐,我们需要使用一些第三方库来帮助我们处理网络请求和解析 HTML/XML 数据.在这里,我建议您使用 requests 库来发送网络请求和 Beautiful Soup 库来解 ...
爬取网易云音乐排行榜
使用Python中的selenium模块爬取网易云排行榜前100条 from selenium import webdriver from openpyxl import Workbook url = ...

Python利用selenium简单的爬取网易云歌曲排行榜

Python利用selenium简单的爬取网易云歌曲排行榜相关推荐

最新文章

热门文章