python3 selenium xpath 下载斗鱼颜值主播头像入门demo

#coding:utf-8
#下载斗鱼主播图片
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from lxml import etree
import requests
import time#设置使用chrome headless
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.binary_location = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'
driver = webdriver.Chrome(chrome_options=chrome_options)
#进入网站
driver.get("https://www.douyu.com/directory/game/yz")ua_headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}def writePicture(picUrl,name):''':param picUrl: 图片的url:param name:   主播昵称，作为图片名称'''r=requests.get(picUrl,headers=ua_headers)with open('douyu/' + name + ".jpg", 'wb') as f:f.write(r.content)def downloadPic():#获取一个主播信息集合，每块标签内标注一个主播的信息host=driver.find_elements_by_class_name('play-list-link')for beauty in host:#得到单个主播信息的实际html内容data=beauty.get_attribute('innerHTML')#lxml解析html=etree.HTML(data)#获取主播昵称btName=html.xpath("//span[@class='dy-name ellipsis fl']")[0].text#获取主播头像路径btPic=html.xpath("//img[@class='JS_listthumb']/@data-original")[0]#记录图片writePicture(btPic,btName)def scanHtml():downloadPic()# 下一页driver.find_elements_by_class_name('shark-pager-next')[0].click()if __name__=='__main__':while True:#标记下一页是否为灰色，如果为灰色，flag为1，否则为-1flag=driver.page_source.find("shark-pager-next shark-pager-disable shark-pager-disable-next")if flag==-1:scanHtml()#等待下载图片time.sleep(3)else:scanHtml()break

结果：

python3 selenium xpath 下载斗鱼颜值主播头像入门demo相关推荐

爬取斗鱼LOL主播人气数据，并显示排行榜 [网络爬虫] [应用案例][请求头][模块]
您的"关注"和"点赞",是信任,是认可,是支持,是动力- 如意见相佐,可留言. 本人必将竭尽全力试图做到准确和全面,终其一生进行修改补充更新. 文章目录 1 爬 ...
java io 视频下载_Java下载映客主播视频回放到电脑硬盘
Java下载映客主播视频回放到电脑硬盘使用Java下载映客回放到电脑硬盘使用方法:在映客app播放回放视频时,分享到QQ,就可以得到url,其中的liveid属性就是视频ID. 源代码由 [**海 ...
网易云音乐电脑版怎么下载电台节目主播电台节目下载教程
网易云音乐不仅可以听歌,还可以在主播电台中,听到各类主播的声音,下面我们就来讲讲网易云音乐电脑版怎么下载电台节目,一起来看教程吧! 网易云音乐电脑版怎么下载电台节目主播电台节目下载教程网易云音乐P ...
斗鱼美女主播封面爬取 python request urlretrieve jsonpath 爬虫
斗鱼美女主播封面爬取 python request urlretrieve jsonpath 爬虫输出结果
Qt网络编程-简易版UDP组播通信入门Demo（5）
Qt网络编程-简易版UDP组播通信入门Demo(5)
Python爬虫：爬取某鱼颜值主播MM图片,你的最爱！？
一.准备 1.创建scrapy项目 scrapy startproject douyu cd douyu scrapy genspider spider "www.douyu.com&quo ...
Python爬虫：爬取某鱼颜值主播图片并保存到本地升级版！
一.准备 1.创建scrapy项目 scrapy startproject douyucd douyuscrapy genspider spider "www.douyu.com" ...
今日头条收购锤子？ofo 半月退 24 万户押金；斗鱼索赔主播 1.5 亿元 | 极客头条...
「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知今 ...
直播画面已被主播锁定！输入正确的密码后可解锁画面。斗鱼直播主播锁定画面解锁方法（网页版）
解决斗鱼网页版:直播画面已被主播锁定,输入正确的密码后可解锁画面的问题注意:此博客仅供技术交流参考,擅自操作造成的一切法律责任自负!!! 问题描述问题分析解决思路具体方法 1.网页空白处点击 ...
爬虫虎牙斗鱼网站主播人气和姓名
虎牙 from urllib import request import reclass Pachong():# 虎牙url ='https://www.huya.com/g/2168'root =' ...

python3 selenium xpath 下载斗鱼颜值主播头像入门demo

python3 selenium xpath 下载斗鱼颜值主播头像入门demo相关推荐

最新文章

热门文章

python3 selenium xpath 下载斗鱼颜值主播头像 入门demo

python3 selenium xpath 下载斗鱼颜值主播头像 入门demo相关推荐

最新文章

热门文章

python3 selenium xpath 下载斗鱼颜值主播头像入门demo

python3 selenium xpath 下载斗鱼颜值主播头像入门demo相关推荐