用Python爬一爬那些年你硬盘存过的老师们,太方便啦!
最近在Github发现一个基于google浏览器的爬虫项目,此项目是由美国大神2018年开源的。这个开源项目不需要使用者再去手写核心爬虫,只需要下载安装,然后传入一些配置参数即可。重要的能做到google图片的无限量爬取,只有不想爬的图片,没有爬不到的。下来就介绍一下这个牛逼的开源项目。
前沿:
这是一个命令行python程序,用于搜索Google Images上的关键字/关键短语,并可选择将图像下载到您的计算机。还可以从另一个python文件调用此脚本。
如果只想为每个关键字下载最多100个图像,则无需安装依赖项。如果您想要每个关键字超过100个图像,需要同时安装Selenium库chromedriver。故障排除部分中的详细说明。
Github地址:https://github.com/hardikvasa/google-images-download
项目介绍: google-images-download
此项目开源到现在一年的时间,就已经收割了3900+star,真的不得不跪拜大神的能力,能将一个简单的爬虫做到如此牛逼的地步。
当然,这么热门的项目,也不是一个人短时间完成的。Github上显示,此项目的贡献者就高达26人,代码总共提交了133次。此项目能收到这么多star,还是在于更多的贡献者和后期的不断维护升级。
这个项目在github也做了具体的使用说明和介绍,大家可以根据自身的项目情况进行配置即可(为了方便阅读,通过google翻译为中文)。
关于此项目使用这里多逼逼几点:
版本要求:
该项目作者GitHub上说python2x与Python3x都可以,推荐Python3。
项目使用:有2种使用方式
方式一:使用pip安装报的方式(推荐)
pip install google_images_download
方式二:手动下载
git clone https://github.com/hardikvasa/google-images-download.git
cd google-images-download && sudo python setup.py install
图片数量:
google搜索关键字首页默认100张图片,要抓取更多的图片,就得增加翻页功能。此项目已经实现了翻页功能,只需要使用者同时安装Selenium库chromedriver,代码里面配置即可。
参数方式:
原作者对参数的传递形式和每一个参数都做了详细的说明,大家可以github详细了解。
使用案例
这里给大家分享一下如何将此项目用来爬取去自己需要的图片。原作者介绍了几种关键字输入的方式。这里以文件读取的形式将关键字传入。这里爬取图片的数量选为500张,需要下载、安装Selenium库chromedriver。
1、搭建爬虫环境
pip install selenuium
pip install requests
pip install google_images_download
2、下载chromedriver驱动
因为下载的图片数量大于100,所以还需要在安装chromedriver,在代码配置chromedriver位置即可。
首先要查看自己电脑上安装的google浏览器版本号
▲谷歌浏览器版本号▲
github给的下载路径国内是无法下载的,不过小编已经将大多数驱动下载下来,需要的可以后台私信获取。当然也可以通过别的渠道获取。
▲github给的下载地址▲
在chrome官网找到与本机的google浏览器版本号一致的chromedriver
▲chrome官网对应的驱动版本号▲
下载完后,安装的路径根据操作系统自己指定。我使用的时win系统,安装在了D盘,具体路径如下:
"D:\download\chromedriver.exe"
3、编辑爬取的关键字文件:
如图所示,只需要在keywords.csv文件里面按图所示填写对应老师的名称即可。
4、代码展示:
import csv
import os
import sys
from google_images_download import google_images_download
# 实例化一个下载器
downloader = google_images_download.googleimagesdownload()
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, BASE_DIR)
# 读取关键字文件
csv_file = csv.reader(open(BASE_DIR + "\google_images\keywords.csv", "r"))
def download_images(csv_file):
"""
传入关键字等参数,下载对应的图片文件
files: 读取的关键字文件
limit: 爬取的图片数量
print_urls: 是否显示爬取的图片url
chromedriver: chromedriver安装的路径。不填此参数,默认爬取前100张图片
output_directory:自定义保存图片的位置
"""
for key_word in csv_file:
arguments = {"keywords": key_word, "limit": 500, "print_urls": True,
"chromedriver": "D:\download\chromedriver.exe",
"output_directory": BASE_DIR + "\\files\\"}
downloader.download(arguments)
if __name__ == '__main__':
download_images(csv_file)
运行:python google_download.py,你就会发现有源源不断的老师图片进入你的硬盘,接下来就是坐等爬完所有你要的图片了。
此文章主要还是给大家分享这个开源项目,至于使用,本文只是做了一个简单的使用,想要了解更多的,可以直接在github查看。在实际中,我们可以利用这个python脚本去爬取基于google的任何图片了。
日常推荐
1000行 MySQL 学习笔记,不怕你不会,就怕你不学!
今日问题
TCP和UDP的区别是什么?
打卡格式:打卡第n天,答:xxx
喜欢的话给小编一个好看
用Python爬一爬那些年你硬盘存过的老师们,太方便啦!相关推荐
- 用Python爬一爬那些年你硬盘存过的老师
最近在Github发现一个基于google浏览器的爬虫项目,此项目是由美国大神2018年开源的.这个开源项目不需要使用者再去手写核心爬虫,只需要下载安装,然后传入一些配置参数即可.重要的能做到goog ...
- 爬一爬那些年你硬盘存过的“老师”
作者 | PayneLi 转载自Python全家桶(ID: python-0321) 人工智能的现状及今后发展趋势如何? https://edu.csdn.net/topic/ai30?utm_so ...
- 爬一爬那些年你硬盘存过的老师
点击"小詹学Python",选择"置顶"公众号 重磅干货,第一时间送达 本文转载自Python全家桶,禁二次转载 除非你能在床上赚钱,否则就不要赖在床上! -- ...
- python爬去百度文库_利用Python语言轻松爬取数据[精品文档]
利用 Python 语言轻松爬取数据 对于小白来说,爬虫可能是一件非常复杂. 技术门槛很高的事情. 比如有人认为学爬虫必须精通 Python ,然后哼哧哼哧系统学习 Python 的每个知识点,很久之 ...
- python爬取贴吧所有帖子-Python实现的爬取百度贴吧图片功能完整示例
本文实例讲述了Python实现的爬取百度贴吧图片功能.分享给大家供大家参考,具体如下: #coding:utf-8 import requests import urllib2 import urll ...
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- [python] 常用正则表达式爬取网页信息及分析HTML标签总结
这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...
- [python学习] 简单爬取维基百科程序语言消息盒
文章主要讲述如何通过Python爬取维基百科的消息盒(Infobox),主要是通过正则表达式和urllib实现:后面的文章可能会讲述通过BeautifulSoup实现爬取网页知识.由于这方面的文章还是 ...
- python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址
随着人们生活水平的提高,肯德基这类的快餐消费的十分火爆,成为小朋友和年轻人的最爱,我们到一个地方想要找到肯德基店面,会根据导航获取肯德基地址,那你知道我们也可以使用python爬虫获取KFC地址吗?我 ...
最新文章
- 【整理】ABAP快捷启动Debug三种方式
- python可以做运动控制卡吗_今天,终于明白了运动控制器和运动控制卡的区别
- 导数卷积 (NTT)
- Taro+react开发(16)--跳转拿参
- Linux 初始化之 Systemd机制简介
- 日本的“电力路由器”概述
- linux下如何查看某个容器的详细信息?
- 【笔记+总结】Andrew Ng-神经网络和深度学习
- Ubuntu下安装VSCODE并输入中文
- 组态王五层电梯c语言编程,PLC编程实例分享,多图详解五层楼电梯控制系统~...
- echarts 为x轴、y轴添加滚动条
- 如何快速且不失真剪切与合并视频?如何将视频快速转成MP4格式?无需渲染!视频秒转MP4,剪辑合并!
- 爬虫实战——中国天气网数据
- 解决Windows环境下PHP连接MySQL很慢的问题
- Servlet - Java Web Core Component
- wince buid
- AccountManager教程
- java编译找不到文件_java报错找不到文件解决方法
- FFMPEG学习遇到avformat_open_input Invalid data found when processing input
- 国产数据库《人大金仓v8》适配过程问题解决记录
热门文章
- mysql实训报告_mysql数据库技术》实验报告.doc
- 给 Python 初学者推荐的 IDE 哦!
- 2021年移动云API应用创新开发大赛火热开启!
- 鲲鹏入晋 万里腾飞,鲲鹏应用创新大赛2021山西赛区邀你来战!
- 2021版Java知识体系详解!(赠视频)
- 人工智能在消费领域,都做了哪些事?
- 赠书 | 人工智能识万物:卷积神经网络的前世今生
- 牛!Python 也能实现图像姿态识别溺水行为了!
- 经典!工业界深度推荐系统与CTR预估必读的论文汇总
- 如何在一场面试中展现你对Python的coding能力?| 技术头条