爬取百度图片

一：本节目标

本次爬取的目标是百度图片，将图片下载到本地

二：准备工作

安装Scrapy、Python3

三：爬取思路

我们需要实现的是下载图片，所以需要获取图片的真实链接

四：爬取分析

我们选取爬取的站点是：http://image.baidu.com/。打开链接，是百度图片搜索的界面，输入搜索关键词，跳转到需要下载图片界面。

打开开发者工具，切换到XHR过滤器，下拉图形条，即可看到下方会出现很多Ajax请求，这些请求就是获取图片链接的Ajax请求，如下图所示。

我们打开第一个Ajax请求，它的链接为：https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E8%AF%81%E4%BB%B6%E7%85%A7&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word=%E8%AF%81%E4%BB%B6%E7%85%A7&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=30&rn=30&gsm=1e&1557471667356=，详情如下图所示。

请求是GET类型，返回结果是JSON格式，我们将其展开后可看到图片的基本星系。接下来我们只需要构造这个请求的参数。此链接有很多参数，如下图所示：

其中最主要的参数是：queryWord，word，1557471667356，pn。前两个参数是搜索关键词，第三个是时间戳参数，最后一个是和分页有关的参数。

五：新建项目

接下来我们用Scrapy来实现这个抓取过程。首先创建一个项目，命令如下所示

Scrapy startproject baiduspider

进入项目中，新建一个Spider,名为baidu,命令如下所示：

scrapy genspider baidu http://img.baidu.com

我们首先修改Spider，配置各个Ajax的URL，实现start_requests()方法，然后用parse_html()进行解析，如下所示

class BaiduSpider(scrapy.Spider):

name = 'baidu'

allowed_domains = ['img.baidu.com']

start_urls = ['http://img.baidu.com/']

def start_requests(self):

base_url='http://image.baidu.com/search/acjson?'

for page in range(30,1200,30):

timestamp = int(round(time.time() * 1000))

data={

'tn': 'resultjson_com',

'ipn': 'rj',

'ct': '201326592',

'is':None,

'fp': 'result',

'queryWord': '证件照',

'cl': '2',

'lm': '-1',

'ie': 'utf-8',

'oe': 'utf-8',

'adpicid':None,

'st': '-1',

'z':None,

'ic': '0',

'hd': '0',

'latest': '0',

'copyright':'0',

'word': '证件照',

's':None,

'se':None,

'tab':None,

'width':None,

'height':None,

'face': '0',

'istype': '2',

'qc':None,

'nc': '1',

'fr':None,

'expermode':None,

'force':None,

'pn': page,

'rn': '30',

'gsm': '1e',

'%s'%(timestamp):None

}

url=base_url+urlencode(data)

yield scrapy.Request(url=url, callback=self.parse_html)

def parse_html(self, response):

item=BaiduspiderItem()

html=json.loads(response.text)

if html:

results=html['data']

for result in results:

try:

item['img_url']=result['objURL']

yield item

except:

pass

六：创建Item

接下来我们解析图片url，如下所示

class BaiduspiderItem(scrapy.Item):

img_url=scrapy.Field()

七：下载图片

item['img_url']来源于Json中的objURL，objURL是加密的图片url链接，需要解密才可以获得图片的真实链接，直接放代码

import requests

import os

import uuid

path=r'半身美女'

class BaiduspiderPipeline(object):

def process_item(self, item, spider):

str_table = {

'_z2C$q': ':',

'_z&e3B': '.',

'AzdH3F': '/'

}

char_table = {

'w': 'a',

'k': 'b',

'v': 'c',

'1': 'd',

'j': 'e',

'u': 'f',

'2': 'g',

'i': 'h',

't': 'i',

'3': 'j',

'h': 'k',

's': 'l',

'4': 'm',

'g': 'n',

'5': 'o',

'r': 'p',

'q': 'q',

'6': 'r',

'f': 's',

'p': 't',

'7': 'u',

'e': 'v',

'o': 'w',

'8': '1',

'd': '2',

'n': '3',

'9': '4',

'c': '5',

'm': '6',

'0': '7',

'b': '8',

'l': '9',

'a': '0'

}

char_table = {ord(key): ord(value) for key, value in char_table.items()}

for key, value in str_table.items():

item['img_url'] = item['img_url'].replace(key, value)

item['img_url'] = item['img_url'].translate(char_table)

try:

if item['img_url'].startswith('http'):

response=requests.get(item['img_url'],timeout=3)

if response.status_code==200:

with open(os.path.join(path, str(uuid.uuid1()).replace('-', '_') + '.jpg'), 'wb') as f:

f.write(response.content)

return None

return None

except ConnectionError:

return None

八：运行

到此位置，整个百度图片的实现完毕了。沃恩运行如下命令启动爬虫

scrapy crawl baidu

九：结果