爬一爬那些年你硬盘存过的“老师”
作者 | PayneLi
转载自Python全家桶(ID: python-0321)
人工智能的现状及今后发展趋势如何?
https://edu.csdn.net/topic/ai30?utm_source=csdn_bw
最近在Github发现一个基于google浏览器的爬虫项目,此项目是由美国大神2018年开源的。这个开源项目不需要使用者再去手写核心爬虫,只需要下载安装,然后传入一些配置参数即可。重要的能做到google图片的无限量爬取,只有不想爬的图片,没有爬不到的。下来就介绍一下这个牛逼的开源项目。
前沿
这是一个命令行python程序,用于搜索Google Images上的关键字/关键短语,并可选择将图像下载到您的计算机。还可以从另一个python文件调用此脚本。
如果只想为每个关键字下载最多100个图像,则无需安装依赖项。如果您想要每个关键字超过100个图像,需要同时安装Selenium库chromedriver。故障排除部分中的详细说明。
Github地址:https://github.com/hardikvasa/google-images-download
项目介绍: google-images-download
此项目开源到现在一年的时间,就已经收割了3900+star,真的不得不跪拜大神的能力,能将一个简单的爬虫做到如此牛逼的地步。
当然,这么热门的项目,也不是一个人短时间完成的。Github上显示,此项目的贡献者就高达26人,代码总共提交了133次。此项目能收到这么多star,还是在于更多的贡献者和后期的不断维护升级。
这个项目在github也做了具体的使用说明和介绍,大家可以根据自身的项目情况进行配置即可(为了方便阅读,通过google翻译为中文)。
关于此项目使用这里多逼逼几点:
版本要求:
该项目作者GitHub上说python2x与Python3x都可以,推荐Python3。
项目使用:有2种使用方式
方式一:使用pip安装报的方式(推荐)
pip install google_images_download
方式二:手动下载
git clone https://github.com/hardikvasa/google-images-download.git
cd google-images-download && sudo python setup.py install
图片数量:
google搜索关键字首页默认100张图片,要抓取更多的图片,就得增加翻页功能。此项目已经实现了翻页功能,只需要使用者同时安装Selenium库chromedriver,代码里面配置即可。
参数方式:
原作者对参数的传递形式和每一个参数都做了详细的说明,大家可以github详细了解。
使用案例
这里给大家分享一下如何将此项目用来爬取去自己需要的图片。原作者介绍了几种关键字输入的方式。这里以文件读取的形式将关键字传入。这里爬取图片的数量选为500张,需要下载、安装Selenium库chromedriver。
1、搭建爬虫环境
pip install selenuium
pip install requests
pip install google_images_download
2、下载chromedriver驱动
因为下载的图片数量大于100,所以还需要在安装chromedriver,在代码配置chromedriver位置即可。
首先要查看自己电脑上安装的google浏览器版本号
▲谷歌浏览器版本号▲
github给的下载路径国内是无法下载的,不过小编已经将大多数驱动下载下来,需要的可以后台私信获取。当然也可以通过别的渠道获取。
▲github给的下载地址▲
在chrome官网找到与本机的google浏览器版本号一致的chromedriver
▲chrome官网对应的驱动版本号▲
下载完后,安装的路径根据操作系统自己指定。我使用的时win系统,安装在了D盘,具体路径如下:
"D:\download\chromedriver.exe"
3、编辑爬取的关键字文件
如图所示,只需要在keywords.csv文件里面按图所示填写对应老师的名称即可。
4、代码展示
import csv
import os
import sys
from google_images_download import google_images_download
# 实例化一个下载器
downloader = google_images_download.googleimagesdownload()
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, BASE_DIR)
# 读取关键字文件
csv_file = csv.reader(open(BASE_DIR + "\google_images\keywords.csv", "r"))
def download_images(csv_file):
"""
传入关键字等参数,下载对应的图片文件
files: 读取的关键字文件
limit: 爬取的图片数量
print_urls: 是否显示爬取的图片url
chromedriver: chromedriver安装的路径。不填此参数,默认爬取前100张图片
output_directory:自定义保存图片的位置
"""
for key_word in csv_file:
arguments = {"keywords": key_word, "limit": 500, "print_urls": True,
"chromedriver": "D:\download\chromedriver.exe",
"output_directory": BASE_DIR + "\\files\\"}
downloader.download(arguments)
if __name__ == '__main__':
download_images(csv_file)
运行:python google_download.py,你就会发现有源源不断的老师图片进入你的硬盘,接下来就是坐等爬完所有你要的图片了。
此文章主要还是给大家分享这个开源项目,至于使用,本文只是做了一个简单的使用,想要了解更多的,可以直接在github查看。在实际中,我们可以利用这个python脚本去爬取基于google的任何图片了。
(本文为AI科技大本营转载文章,转载请微信联系原作者)
如何挑战百万年薪的人工智能!
https://edu.csdn.net/topic/ai30?utm_source=csdn_bw
群招募
扫码添加小助手微信,回复:公司+研究方向(学校+研究方向),邀你加入技术交流群。技术群审核较严,敬请谅解。
推荐阅读:
90后美女学霸传奇人生:出身清华姚班,成斯坦福AI实验室负责人高徒
如今,你感受到内存技术的“思维速度”了吗?
暴雪游戏遭遇AI“实力”坑队友:四处游走,还不参与战斗
我用Python分析了翟天临的论文,学术还是要认真做啊
快速上手爬虫,有哪些方便实用的工具和服务?
C++ 开发者怒了:这个无用的模块设计最终会害死 C++!
程序员写代码没激情该怎么破?
以太坊升级完成你也做不出爆款应用, 就因为你不知道这个!
刚刚,阿里发布了一个重磅技术炸弹,70%的程序员受影响!
点击“阅读原文”,查看历史精彩文章。
爬一爬那些年你硬盘存过的“老师”相关推荐
- 用Python爬一爬那些年你硬盘存过的老师们,太方便啦!
最近在Github发现一个基于google浏览器的爬虫项目,此项目是由美国大神2018年开源的.这个开源项目不需要使用者再去手写核心爬虫,只需要下载安装,然后传入一些配置参数即可.重要的能做到goog ...
- 用Python爬一爬那些年你硬盘存过的老师
最近在Github发现一个基于google浏览器的爬虫项目,此项目是由美国大神2018年开源的.这个开源项目不需要使用者再去手写核心爬虫,只需要下载安装,然后传入一些配置参数即可.重要的能做到goog ...
- 爬一爬那些年你硬盘存过的老师
点击"小詹学Python",选择"置顶"公众号 重磅干货,第一时间送达 本文转载自Python全家桶,禁二次转载 除非你能在床上赚钱,否则就不要赖在床上! -- ...
- python爬虫什么意思-这样学Python爬虫,想爬什么爬什么
原标题:这样学Python爬虫,想爬什么爬什么 你知道怎么学爬虫吗?正确的入门姿势在这里!只要学好了Python爬虫,真的是可以想爬什么爬什么哟,像什么美女图片啦,美食图片啦,美景图片啦.(小编可不知 ...
- python爬网易云音乐评论最多的歌_使用Python爬一爬网易云音乐上那些评论火爆的歌曲...
网易云音乐这款音乐APP本人比较喜欢,用户量也比较大,而网易云音乐之所以用户众多和它的歌曲评论功能密不可分,很多歌曲的评论非常有意思,其中也不乏很多感人的评论.但是,网易云音乐并没有提供热评排行榜和按 ...
- 爬取百大弹幕,大家还是喜欢上罗老师的课!
原来大家这么喜欢上课 1.成果展示 2.源代码展示及使用 2.1获取弹幕文本 2.2生成词云 1.成果展示 部分弹幕爬取 可爱和性感在猛男面前 不堪一击 试图招手让摄像走开( 讲道理,00子是融入小破 ...
- python爬虫网易云音乐评论最多的歌_使用Python爬一爬网易云音乐上那些评论火爆的歌曲...
网易云音乐这款音乐APP本人比较喜欢,用户量也比较大,而网易云音乐之所以用户众多和它的歌曲评论功能密不可分,很多歌曲的评论非常有意思,其中也不乏很多感人的评论.但是,网易云音乐并没有提供热评排行榜和按 ...
- 浪姐爆火!“爬一爬”背后不为人知的数据!
黑马程序员视频库 播妞QQ号:3077485083 传智播客旗下互联网资讯.学习资源免费分享平台 今年上半年最火的综艺非<乘风破浪的姐姐>(简称浪姐)莫属,第一期播出就爆了好几个热搜.不得 ...
- Python爬虫 - 爬天爬地爬空气
1.前言 Python爬虫能干什么? 这么说吧:爬天爬地爬空气! 哈哈,其实也没这么邪乎的!爬虫给我的感觉就是:数据的价值.互联网如此发达,越来越多的有效数据被利用起来. 不过,希望每个人 ...
最新文章
- 【Codeforces】1104C Grid game (变异的俄罗斯方块)
- 你要的Spring Boot多图片上传回显功能已经实现了,赶紧收藏吃灰~
- 国服被ban咋看_LOL国服十大神人霸哥
- Hadoop二次开发项目案例方案汇总
- UI自动化之元素定位(xpath、css)
- Getting the right Exception Context from a Memory dump Fixed
- 赋予用户最高权限的一点“挫折”
- 长假大考充电桩:堵车不可怕,没电才尴尬
- 趣图 | 著名的悖论蒙提霍尔问题到底是什么?
- ASP.NET防止用户多次登录的方法
- Android 通过软引用实现图片缓存,防止内存溢出
- spring 多线程 写入数据库 和 写入 xml文件
- android核心基础(5)_Android)java虚拟机和Dalvik虚拟机的区别
- 从零开始学Android(一)
- 软件工程~数据字典例子解释
- CTF-密码学-位移密码
- 在使用Assimp库时编译器报错:C2589 “(”:“::”右边的非法标记 AssimpLoadStl
- 高频交易巨头GETCO的发达史
- 进程之管道Pipe,数据共享Manager,进程池Poo
- 第六章 颠覆与重塑思维,大数据与思维革命
热门文章
- [PHPUnit]自动生成PHPUnit测试骨架脚本-提供您的开发效率【2015升级版】
- java robot类自动截屏
- Java垃圾回收调优
- Mac制作Ubuntu USB启动盘
- 暑期集训2:ACM基础算法 练习题A:CF-1008C
- matlab2013a vs2013 opencv2.4.8 编译TLD
- 3.3 栈的链式存储结构
- Sublime遇见中文乱码问题?
- lattice diamond 3.7安装破解
- atitit.跨架构 bs cs解决方案. 自定义web服务器的实现方案 java .net jetty HttpListener...