爬虫实战谷歌图片爬取高清图片

目标

date：2020.5.25
author:pmy
aim:爬取google图片，关键词cat，两百张高清图（非缩略图）
现阶段：能够实现目标。在之前爬取谷歌图片的基础上（缩略图），这次进行了改进，爬取高清大图。
存在问题：爬取的效率不高，时间较长，只能完成数量，不能保证所见为所爬。等待之后学习改进

完整代码

# date：2020.5.25
# author:pmy
# aim:爬取google图片
#问题在于，不能保证所爬为所见from selenium import webdriver
import time
import os
import requests# 修改keyword便可以修改搜索关键词 建议也修改存储目录
keyword = 'cat'
url = 'https://www.google.com.hk/search?q=' + keyword + '&source=lnms&tbm=isch'class Crawler_google_images:# 初始化def __init__(self):self.url = url# 获得Chrome驱动，并访问urldef init_browser(self):chrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--disable-infobars")browser = webdriver.Chrome(chrome_options=chrome_options)# 访问urlbrowser.get(self.url)# 最大化窗口，之后需要爬取窗口中所见的所有图片browser.maximize_window()return browser# 下载图片def download_images(self, browser, num=100):#存储路径picpath = './cat'# 路径不存在时创建一个if not os.path.exists(picpath): os.makedirs(picpath)count = 0  # 图片序号pos = 0# print(num)while (True):try:# 向下滑动js = 'var q=document.documentElement.scrollTop=' + str(pos)pos += 500browser.execute_script(js)time.sleep(1)# 找到图片# html = browser.page_source#也可以抓取当前页面的html文本，然后用beautifulsoup来抓取# 直接通过tag_name来抓取是最简单的，比较方便img_elements = browser.find_elements_by_xpath('//a[@class="wXeWr islib nfEiy mM5pbd"]')try:for img_element in img_elements:#点开大图页面img_element.click()time.sleep(0.5)try:# 这里balabala里面有好几个，所以要过滤一下# 取名好烦哦···balabalas = browser.find_elements_by_xpath('//img[@class="n3VNCb"]')if (balabalas):for balabala in balabalas:src = balabala.get_attribute('src')#过滤掉缩略图和无关干扰信息if src.startswith('http') and not src.startswith('https://encrypted-tbn0.gstatic.com'):print('Found' + str(count) + 'st image url')# img_url_dic.append(src)self.save_img(count, src, picpath)count += 1#爬取到指定数量图片后退出if (count >= num):return "stop"except:print('获取图片失败')#回退browser.back()time.sleep(0.3)except:print('获取页面失败')except:print("划不动了")def save_img(self, count, img_src, picpath):filename = picpath + '/' + str(count) + '.jpg'r = requests.get(img_src)with open(filename, 'wb') as f:f.write(r.content)f.close()def run(self):self.__init__()browser = self.init_browser()self.download_images(browser, 100)  # 可以修改爬取的图片数browser.close()print("############爬取完成")if __name__ == '__main__':craw = Crawler_google_images()craw.run()

爬取效果

爬虫实战谷歌图片爬取高清图片相关推荐

用python画易烊千玺_竟然如此简单！输入明星名字就可以直接爬取高清图片
听说你在自己喜欢的明星壁纸?比如李易峰,王一博,易烊千玺.王源.王俊凯,李现等.今天教你批量下载这些明星高清壁纸(文末有福利) 最近图慌,闲来无事爬取李易峰的高清图片,当做手机壁纸也是不错的选择.废话 ...
竟然如此简单！输入明星名字就可以直接爬取高清图片
听说你在自己喜欢的明星壁纸?比如李易峰,王一博,易烊千玺.王源.王俊凯,李现等.今天教你批量下载这些明星高清壁纸(文末有福利) 最近图慌,闲来无事爬取李易峰的高清图片,当做手机壁纸也是不错的选择. 废 ...
百度图片爬虫，爬取高清图片
在做深度学习研究与应用的时候,经常需要爬取样本,例如,超分辨率重建,实际的训练与产品应用中,你需要爬取一些高清的图片,下面提供一个简单的爬虫: # coding=utf-8 import re imp ...
python爬虫爬取高清图片——爬虫入门
自动抓取某图片网站高清壁纸并下载保存使用requests请求网页,bs4解析数据话不多说直接看代码,刚学不久欢迎指点 #-*- codeing = utf-8 -*- #@Time : 2022/ ...
爬虫实战：批量爬取京东内衣图片（自动爬取多页，非一页）
做下男生想做的事,爬取大量妹子内衣图. 作者: 电气-余登武准备工作假如我们想把京东内衣类商品的图片全部下载到本地,通过手工复制粘贴将是一项非常庞大的工程,此时,可以用python爬虫实现. 第一 ...
爬虫实例（二）—— 爬取高清4K图片
大家好,我是 Enovo飞鱼,今天继续分享一个爬虫案例,爬取高清4K图片,加油
爬虫实战5：爬取全部穿越火线武器的图片以武器名称命名保存到本地文件
申明:资料来源于网络及书本,通过理解.实践.整理成学习笔记. 文章目录穿越火线官网完整代码运行结果穿越火线官网完整代码 import requests# 循环33次,官网武器库展示有33页 ...
转 Python爬虫实战一之爬取糗事百科段子
静觅 » Python爬虫实战一之爬取糗事百科段子首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来. 友情提示糗事百科在前一段时间进行了改版,导致 ...
Python爬虫实战一之爬取糗事百科段子
点我进入原文另外, 中间遇到两个问题: 1. ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128) 解 ...
爬虫实战6：爬取英雄联盟官网五个位置的综合排行榜保存到excel
申明:资料来源于网络及书本,通过理解.实践.整理成学习笔记. 文章目录英雄联盟官网获取一个位置的综合排行榜所有数据(上单为例) 获取所有位置的综合排行榜所有数据英雄联盟官网获取一个位置的综合排 ...

爬虫实战谷歌图片爬取高清图片

目标

完整代码

爬取效果

爬虫实战谷歌图片爬取高清图片相关推荐

最新文章

热门文章

爬虫实战 谷歌图片爬取 高清图片

目标

完整代码

爬取效果

爬虫实战 谷歌图片爬取 高清图片相关推荐

最新文章

热门文章

爬虫实战谷歌图片爬取高清图片

爬虫实战谷歌图片爬取高清图片相关推荐