最简洁的百度图片爬虫

今天写了一个百度图片爬虫，代码如下

import requests
import re
import os
import timeheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
name = input('您要爬取什么图片')
num = 0
x = input('您要爬取几张呢?，输入1等于60张图片。')
for i in range(int(x)):name_1 = 'D:\\图片\\'url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='+name+'&pn='+str(i*30)res = requests.get(url,headers=headers)htlm_1 = res.content.decode()a = re.findall('"objURL":"(.*?)",',htlm_1)if not os.path.exists(name_1):os.makedirs(name_1)for b in a:num = num +1try:img = requests.get(b)except Exception as e:print('第'+str(num)+'张图片无法下载------------')print(str(e))continuef = open(name_1+name+str(num)+'.jpg','ab')print('---------正在下载第'+str(num)+'张图片----------')f.write(img.content)f.close()
print('下载完成')

三十行的代码就搞定了，有在学习爬虫的同学可以参考一下，
后面会发一个教程：如何把代码封装成一个.exe可运行的文件，这样就可以自己写好代码发给其他人直接运行即可不用安装插件。

------------------------------------------------
5-10
优化一下爬虫感谢@编程副本提出的一个小bug：会爬取重复图片。
更新如下：

import requests
import re
import os
import time
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'}
name = input('您要爬取什么图片')
num = 0
num_1 = 0
num_2 = 0
x = input('您要爬取几张呢?，输入1等于60张图片。')
list_1 = []
for i in range(int(x)):name_1 = os.getcwd()name_2 = os.path.join(name_1,'图片')url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='+name+'&pn='+str(i*30)res = requests.get(url,headers=headers)htlm_1 = res.content.decode()a = re.findall('"objURL":"(.*?)",',htlm_1)if not os.path.exists(name_2):os.makedirs(name_2)for b in a:try:b_1 = re.findall('https:(.*?)&',b)b_2 = ''.join(b_1)if b_2 not in list_1:num = num +1img = requests.get(b)f = open(os.path.join(name_1,'图片',name+str(num)+'.jpg'),'ab')print('---------正在下载第'+str(num)+'张图片----------')f.write(img.content)f.close()list_1.append(b_2)elif b_2 in list_1:num_1 = num_1 + 1 continueexcept Exception as e:print('---------第'+str(num)+'张图片无法下载----------')num_2 = num_2 +1continue
print('下载完成,总共下载{}张,成功下载:{}张,重复下载:{}张,下载失败:{}张'.format(num+num_1+num_2,num,num_1,num_2))

如代码有问题欢迎大家私信或者在此贴下回复，感谢各位！

非学无以广才，非志无以成学！

最简洁的百度图片爬虫相关推荐

python爬虫：百度图片爬虫代码
代码里的logid我也不确定有没有时效,如果有的话请大家自行替换,就在数据包标头那里,如图代码来了,来了,来了....... 详细解说在这里:百度图片爬虫代码详解 #Author:Griffy #D ...
python：从零开始的百度图片爬虫
python百度图片爬虫最近打算尝试接触人工智障,于是发现需要先搞到数据集,制作数据集又需要带量数据我打算先搞个图片判断的,类似于看有没有猫这种所以我需要数据集,需要图片,需要很多很多图片所以 ...
python如何爬取图片_百度图片爬虫-python版-如何爬取百度图片?
上一篇我写了如何爬取百度网盘的爬虫,在这里还是重温一下,把链接附上: http://5912119.blog.51cto.com/5902119/1771391 这一篇我想写写如何爬取百度图片的爬虫, ...
【python--爬虫】百度图片爬虫
如何快速收集某个关键字的图片呢?有的小伙伴可能会说百度图片,bingo答对了!o(￣▽￣)o,博主本次就讲解下如何爬取百度图片环境准备为了优雅的享用这盘python爬虫大餐,请各位读者大大准备要以 ...
百度图片爬虫，爬取高清图片
在做深度学习研究与应用的时候,经常需要爬取样本,例如,超分辨率重建,实际的训练与产品应用中,你需要爬取一些高清的图片,下面提供一个简单的爬虫: # coding=utf-8 import re imp ...
百度图片排名：SEO常用的5个技巧！
图片SEO是网站内容优化重要的一个元素,但经常被站长所忽略,随着百度图腾的上线,图片版权的保护,将为站长提供更多的潜在流量. 但在多年的SEO工作中,图片SEO并没有一个统一的优化流程,所有的策略与技 ...
python3 爬取百度图片
深度学习中,从网上下载大量的图片数据,肯定是必须的.作为python爬虫小白,记录一下此过程. 一.分析网页结构 1.在百度图片中输入狗,得到如下所示的网址 http://image.baidu.co ...
python爬虫爬取百度图片总结_爬虫篇| 爬取百度图片（一）
什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模 ...
python爬去百度图片_爬虫篇| 爬取百度图片（一）
什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模 ...

最简洁的百度图片爬虫

最简洁的百度图片爬虫相关推荐

最新文章

热门文章