python3 爬取百度图片

深度学习中，从网上下载大量的图片数据，肯定是必须的。作为python爬虫小白，记录一下此过程。

一、分析网页结构

1、在百度图片中输入狗，得到如下所示的网址

http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E7%8B%97&pn=0&gsm=78&ct=&ic=0&lm=-1&width=0&height=0

2、选择下一页时，发现只有pn和gsm的值发生了改变。

到目前为止，我知道的是：pn参数代表的是页数；word参数自然是关键词，需要转换编码格式。

gsm的值貌似随意改也没什么影响。有一种说法是gsm:表示pn的十六进制值参考博文

3、所以，可以拼接出page请求的URL，代码如下：

def getPage(keyword,page,n):page=page*nkeyword=urllib.parse.quote(keyword, safe='/')url_begin= "http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="url = url_begin+ keyword + "&pn=" +str(page) + "&gsm="+str(hex(page))+"&ct=&ic=0&lm=-1&width=0&height=0"return url

二、找到网页中的图片地址

1、右键查看网页源代码，分析JSON数据可知，其中的字段objURL，即表示了原图的下载地址。

2、根据URL地址，得到图片地址的代码为：

def get_onepage_urls(onepageurl):try:html = requests.get(onepageurl).textexcept Exception as e:print(e)pic_urls = []return pic_urlspic_urls = re.findall('"objURL":"(.*?)",', html, re.S)return pic_urls

三、下载图片并保存

代码如下：

def down_pic(pic_urls):"""给出图片链接列表, 下载所有图片"""for i, pic_url in enumerate(pic_urls):try:pic = requests.get(pic_url, timeout=15)string =str(i + 1) + '.jpg'with open(string, 'wb') as f:f.write(pic.content)print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))except Exception as e:print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))print(e)continue

四、完整的代码

# coding=utf-8
"""根据搜索词下载百度图片"""
import re
import sys
import urllibimport requestsdef getPage(keyword,page,n):page=page*nkeyword=urllib.parse.quote(keyword, safe='/')url_begin= "http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="url = url_begin+ keyword + "&pn=" +str(page) + "&gsm="+str(hex(page))+"&ct=&ic=0&lm=-1&width=0&height=0"return urldef get_onepage_urls(onepageurl):try:html = requests.get(onepageurl).textexcept Exception as e:print(e)pic_urls = []return pic_urlspic_urls = re.findall('"objURL":"(.*?)",', html, re.S)return pic_urlsdef down_pic(pic_urls):"""给出图片链接列表, 下载所有图片"""for i, pic_url in enumerate(pic_urls):try:pic = requests.get(pic_url, timeout=15)string =str(i + 1) + '.jpg'with open(string, 'wb') as f:f.write(pic.content)print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))except Exception as e:print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))print(e)continueif __name__ == '__main__':keyword = '狗'  # 关键词, 改为你想输入的词即可, 相当于在百度图片里搜索一样page_begin=0page_number=30image_number=3all_pic_urls = []while 1:if page_begin>image_number:breakprint("第%d次请求数据",[page_begin])url=getPage(keyword,page_begin,page_number)onepage_urls= get_onepage_urls(url)page_begin += 1all_pic_urls.extend(onepage_urls)down_pic(list(set(all_pic_urls)))

五、参考博文

1、多线程实现百度图片爬虫

python3 爬取百度图片相关推荐

python3爬取百度图片
python3爬取百度图片最终目的:能通过输入关键字进行搜索,爬取相应的图片存储到本地或者数据库首先打开百度图片的网站,搜索任意一个关键字,比如说:水果,得到如下的界面分析: 1.百度图片搜索结 ...
[Python3] 爬取百度图片到本地
前言因为需要一些图片素材,又不想一个个手动下载,遂通过爬虫来解放双手.在百度图片中搜索"汉服美女",然后以浏览器地址栏上的地址作为初始 URL.通过对 URL 分析知道 URL ...
json返回的img图片被原样输出_爬取百度图片，并下载至本地
爬取百度图片一:本节目标本次爬取的目标是百度图片,将图片下载到本地二:准备工作安装Scrapy.Python3 三:爬取思路我们需要实现的是下载图片,所以需要获取图片的真实链接四:爬取分析 ...
用python3爬取百度首页
用python3读取百度首页代码爬取百度首页 import urllib.request import urlliburl="http://www.baidu.com/" ht ...
Python 爬虫实例（1）—— 爬取百度图片
爬取百度图片在Python 2.7上运行 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Author: loveNightimport json ...
python爬取百度图片（用于深度学习中数据集的收集）
6_python爬取百度图片(用于深度学习中数据集的收集)(6-20181225-) 参考: https://blog.csdn.net/guyuealian/article/details/7873 ...
如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
python爬去百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
详细分析如何利用python批量爬取百度图片
这篇文章主要写的是利用python网络爬虫批量来爬取百度图片并保存到文件夹中. 首先我们打开百度图片这个网页:https://image.baidu.com/ 我们现在随便搜一个类型的图片,比如小狗, ...

python3 爬取百度图片

python3 爬取百度图片相关推荐

最新文章

热门文章