使用selenium下载百度图片

简单说明

通过输入想要查找的关键词，使用selenium自动化工具下载其图片
网址为:‘https://image.baidu.com/search/index?tn=baiduimage&word=’+关键词

使用工具及模块

Pycharm-----python3.7
selenium:pip install selenium -i https://pypi.douban.com/simple
requests:pip install requests -i https://pypi.douban.com/simple
time
lxml: pip install lxml -i https://pypi.douban.com/simple

实现步骤

1.实例化webdriver
2.输入关键词,使用selenium打开百度图片页面
3.由于百度图片页面是通过不断下拉，进而动态加载图片出来，因此，想要让它维持一个持续下来的动作

首先获取初始页面的高度，以及初始时间，并将滚动条滑倒底部
其次，获取当前时间，并判断初始时间和当前时间的差是否大于30秒，小于则下拉，获得当前高度
若当前高度大于初始高度，重置页面高度为当前高度以及重置初始时间，重新计时
若当前高度小于初始高度，尝试重试3次
最后当重试次数大于3次时，跳出循环，认为页面加载完毕

4.解析页面内容，并获取图片链接
5.使用requests对图片链接发送请求，将图片保存到本地文件夹，完成下载

相关代码

from selenium import webdriver
from lxml import etree
import requests
import time#### 爬取部分
def main(word):# 无界面模式options = webdriver.ChromeOptions()# #     无界面启动，也可以直接设置options.headless=Trueoptions.add_argument('headless')driver = webdriver.Chrome(options = options)driver.implicitly_wait(10)  # 设置隐式等待url = 'https://image.baidu.com/search/index?tn=baiduimage&word=' + worddriver.get(url)driver.enconding = 'UTF-8'# 获取页面初始高度js = "return action=document.body.scrollHeight"height = driver.execute_script(js)# 将滚动条调整至页面底部driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')time.sleep(3)# 定义初始时间戳（秒）t1 = int(time.time())# 重试次数# 定义循环标识，用于终止while循环status = True# 重试次数num = 0while status:# 获取当前时间戳（秒）t2 = int(time.time())# 判断时间初始时间戳和当前时间戳相差是否大于30秒，小于30秒则下拉滚动条if t2 - t1 < 30:new_height = driver.execute_script(js)if new_height > height:time.sleep(2)driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')# 重置初始页面高度height = new_height# 重置初始时间戳，重新计时t1 = int(time.time())elif num < 3:  # 当超过30秒页面高度仍然没有更新时，进入重试逻辑，重试3次，每次等待30秒time.sleep(3)num = num + 1else:  # 超时并超过重试次数，程序结束跳出循环，并认为页面已经加载完毕！print("滚动条已经处于页面最下方！")status = False# 滚动条调整至页面顶部driver.execute_script('window.scrollTo(0, 0)')breakcontent = driver.page_source.encode('utf-8')# 解析网页数据source = etree.HTML(content)# 获取图片链接pic_img = source.xpath('//div[@class="imgbox-border"]/a/img/@data-imgurl')header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36'}for i in range(len(pic_img)):pic = requests.get(pic_img[i], headers=header)# 获取图片保存的路径path ='./img'base_url = path + "\image{}.jpg".format((i + 1))with open(base_url, 'wb') as f:f.write(pic.content)if __name__=='__main__':start = time.time()main('泰勒斯威夫特')end = time.time()print('下载图片需要%s秒' % (end - start))

结果截图

运行结果截图

下载图片完成

使用selenium下载百度图片相关推荐

python爬虫实现批量下载百度图片
今天和小伙伴们合作一个小项目,需要用到景点图片作为数据源,在百度上搜索了一些图片,感觉一个一个手动保存太过麻烦,于是想到用爬虫来下载图片. 本次代码用到了下列一些python模块,需要预先安装Beau ...
Python实用案例，Python脚本，Python实现批量下载百度图片
往期回顾 Python实现自动监测Github项目并打开网页 Python实现文件自动归类 Python实现帮你选择双色球号码 Python实现每日更换"必应图片"为"桌 ...
使用Java编写爬虫，下载百度图片
因为最近需要很多图片素材做机器训练,所以写一个爬虫来下载百度图片里的一些图片,用作机器学习. 先看看效果图: 实现思路: 根据百度图片的Ajax请求,用Chrome获取到URL,然后通过改变URL参数 ...
java下载图片到本地，例如从网上下载图片，下载淘宝图片，下载百度图片等
java下载图片到本地,例如从网上下载图片,下载淘宝图片,下载百度图片. 直接上代码如下: public static void download(String url,String saveFile ...
使用Tkinter + urllib + requests 实现自动下载百度图片
整体步骤分三步: 1.设计tkinter页面布局 2.获取图片链接列表 3.执行下载操作先放代码 import urllib import re import requeststry:from tk ...
python3爬虫系列03之requests库：根据关键词自动爬取下载百度图片
python3爬虫系列03之requests库:根据关键词自动爬取下载百度图片 1.前言在上一篇文章urllib使用:根据关键词自动爬取下载百度图片当中,我们已经分析过了百度图片的搜索URL的变化 ...
urllib3批量下载百度图片
''' urllib3批量下载百度图片 ''' import urllib3 import re start_url = 'http://image.baidu.com/search/index?tn ...
python编程图片_python下载百度图片,python图片下载程序
以前写的一个百度图片下载的代码,现在试试还能用,现在百度图片的质量也是越来越高了,共享一下,让粉丝和图片控能方便下载:后续功能追加请关注我的小站#coding:utf-8 ''' python 2.7 ...
python下载图片-python下载百度图片,python图片下载程序
以前写的一个百度图片下载的代码,现在试试还能用,现在百度图片的质量也是越来越高了,共享一下,让粉丝和图片控能方便下载:后续功能追加请关注我的小站#coding:utf-8 ''' python 2.7 ...
用python批量下载网络图片大全_实战干货：用 Python 批量下载百度图片！
为了做一个图像分类的小项目,需要制作自己的数据集.要想制作数据集,就得从网上下载大量的图片,再统一处理. 这时,一张张的保存下载,就显得很繁琐.那么,有没有一种方法可以把搜索到的图片直接下载到本地电脑 ...