使用selenium操控浏览器爬取QQ音乐

环境python3.6,工具pycharm
首先安装selenium框架,下载selenium框架需要的webdriver驱动放在谷歌浏览器bin目录…
一.webdriver的安装
1.下载地址:

http://npm.taobao.org/mirrors/chromedriver/

根据自己的chrome版本选择对应版本下载, 如果不知道chrome版本,先任意下载一个,运行时会报错提示:你当前chrome版本是多少, 当前chromedriver支持版本,然后再下载对应版本即可
ps:windows chromedriver只有32位
2.解压chromedriver.zip 获得chromedriver.exe
将chromedriver.exe放在任意目录(一般放在:C:\Program Files\Google\Chrome\Application)
3.配置环境变量:在path中新建一个变量,值为chromedriver.exe的目录,配置完后还不行重启试试
4.测试:

from selenium import webdriver
driver = webdriver.Chrome()

如果不报错,基本上就是安装成功了
二.爬取QQ音乐的代码

from selenium import webdriver
import requests
import json
import threading
import threadingprint('请输入歌名:')
s = input()
url = "https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=" + s
driver = webdriver.Chrome()
driver.get(url)
driver.implicitly_wait(5)
#此处正则表达式写死,获取音乐播放地址
xpath = driver.find_element_by_xpath('//*[@id="song_box"]/div[2]/ul[2]/li[2]/div/div[2]/span[1]/a').get_attribute('href')
print(xpath)
data = {'mid': xpath}
#借用第三方解析
response = requests.post('http://www.douqq.com/qqmusic/qqapi.php', data=data).json()
resJson = json.loads(response)
driver.get(resJson['m4a'])

使用selenium操控浏览器爬取QQ音乐相关推荐

【python】实验2项目2：使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（陈奕迅）
请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手(可以是任意歌手)最受欢迎的前5首歌曲的歌词.流派.歌曲发行时间.评论条数.评论时间.评论点赞次数.评论内容具体(每一首歌的评论& ...
【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息
本文对使用到的技术仅做简单的介绍,若想了解更多,请前往相应的官网网站进行学习. 本文适合对爬虫相关知识接触不多的新手,主要是普及Selenium如何做爬虫,大佬请跳过. 1.Selenium简单介绍 ...
selenium爬取qq音乐
今日学习(解析selenium爬取qq音乐,附带解析数据) 点此查看原博客爬取QQ音乐官网指定歌手的前5首歌曲的基本信息和前五百条热门评论: selenium中文网点此学习selenium 简而言之 ...
python爬虫爬取音乐单曲_Python爬取qq音乐的过程实例
一.前言 qq music上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的.于是,来了个qqmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元 ...
python爬虫爬取qq音乐热歌榜的歌曲到本地
文章目录项目目标具体实现步骤完整代码运行结果项目目标爬取qq音乐热歌榜https://y.qq.com/n/yqq/toplist/26.html到本地文件夹具体实现步骤程序思路:用s ...
python爬取qq音乐标签_Python爬取qq音乐的过程实例
一.前言 qq music上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的.于是,来了个qqmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元 ...
Python网络爬虫数据采集实战：Scrapy框架爬取QQ音乐存入MongoDB
通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取.动态Ajax网页爬取.Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本 ...
Python网络爬虫数据采集实战（八）：Scrapy框架爬取QQ音乐存入MongoDB
通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取.动态Ajax网页爬取.Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本涵盖了爬虫 ...
爬虫入门——爬取QQ音乐某一歌手前五首歌曲信息及相关评论
文章目录前言一.查看信息二.代码实现总结前言 python课作业请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手(可以是任意歌手)最受欢迎的前5首歌曲的歌词.流派.歌 ...

使用selenium操控浏览器爬取QQ音乐

使用selenium操控浏览器爬取QQ音乐相关推荐

最新文章

热门文章