使用Python爬取图片。

1 说明

本文通过爬虫程序的编写，实现了一个简单易懂的爬虫程序，方便初学者理解，主要程序分为网页获取函数，以及保存下载函数，这就是所有爬虫程序的基本思想。(本文不涉及反爬，具体反爬程序以后再说)，文章最后附上全部代码。

爬取目标网站为

https://www.3gbizhi.com

此网站没有反爬，图片质量也很好，爬取时需加延时，不要给他们的服务器造成太大负担，且用且珍惜！！！

2 准备事项：

先pip安装以下命令

使用的第三方库

1.配置以下请求头，模拟自己是个浏览器

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36 Edg/86.0.622.58',

"Cookie": "UM_distinctid=1758c184bea97-0d217f1a4272e5-7d677f67-144000-1758c184beb5c8; CNZZDATA1255139604=1098251314-1604371519-%7C1604403769; Hm_lvt_3b19253d112290a9184293cf68a02346=1604373205,1604402882,1604407056; _uupv=3; Hm_lpvt_3b19253d112290a9184293cf68a02346=1604407260"

}

2.通过分析网址，发现此网页的分类是根据url的名字变化，实现，因此，我们只需要将分类之后的文字作为参数传入get_parse_page函数中，就可以找到目标网页。

def get_parse_page(name):

# name是你要搜索的关键词

url = r'https://www.3gbizhi.com/%s'%(name)

#1. 发送请求，获取相应

response = requests.get(url, headers=headers)

html = response.content.decode()

# print(html)

# 2.正则表达式解析网页

results = re.findall('src="(.*?).238.390.jpg"', html) # 返回一个图片下载链接的列表

pic_names = re.findall('alt="(.*?)"', html) # 返回图片名字一个列表

print(results)

# 根据获取到的图片链接，把图片保存到本地

save_to_txt(results, name, pic_names)

# 保存图片到本地

3.在获取到图片链接以及图片名字之后，进行下载，保存到本地指定的文件路径中，并进行命名。

def save_to_txt(results, name, pic_names):

j = 0

# 在当目录下创建文件夹

if not os.path.exists('./' + name):

os.makedirs('./' + name)

# 下载图片

for result in results:

try:

pic = requests.get(result, headers=headers)

print(pic)

print('正在保存第{}个'.format(j + 1))

time.sleep(random.random())

except:

print('当前图片无法下载')

j += 1

continue

# 把图片保存到文件夹

file_full_name = './' + name + '/' + str(j) + '-' + pic_names[j] + '.jpg'

with open(file_full_name, 'wb') as f:

f.write(pic.content)

j += 1

4.这是主函数

# 主函数

if __name__ == '__main__':

name = "sjbz"#手机壁纸分类

get_parse_page(name)

# 获取图片url连接

# 配置以下模块

import random

import requests

import re

import os

import time

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36 Edg/86.0.622.58',

"Cookie": "UM_distinctid=1758c184bea97-0d217f1a4272e5-7d677f67-144000-1758c184beb5c8; CNZZDATA1255139604=1098251314-1604371519-%7C1604403769; Hm_lvt_3b19253d112290a9184293cf68a02346=1604373205,1604402882,1604407056; _uupv=3; Hm_lpvt_3b19253d112290a9184293cf68a02346=1604407260"

}

def get_parse_page(name):

# name是你要搜索的关键词

# pn是你想下载的页数

url = r'https://www.3gbizhi.com/%s'%(name)

# 发送请求，获取相应

response = requests.get(url, headers=headers)

html = response.content.decode()

# print(html)

# 2.正则表达式解析网页

# "objURL":"http://n.sinaimg.cn/sports/transform/20170406/dHEk-fycxmks5842687.jpg"

results = re.findall('src="(.*?).238.390.jpg"', html) # 返回一个列表

pic_names = re.findall('alt="(.*?)"', html) # 返回一个列表

print(results)

# 根据获取到的图片链接，把图片保存到本地

save_to_txt(results, name, pic_names)

# 保存图片到本地

def save_to_txt(results, name, pic_names):

j = 0

# 在当目录下创建文件夹

if not os.path.exists('./' + name):

os.makedirs('./' + name)

# 下载图片

for result in results:

try:

pic = requests.get(result, headers=headers)

print(pic)

print('正在保存第{}个'.format(j + 1))

time.sleep(random.random())

except:

print('当前图片无法下载')

j += 1

continue

# 把图片保存到文件夹

file_full_name = './' + name + '/' + str(j) + '-' + pic_names[j] + '.jpg'

with open(file_full_name, 'wb') as f:

f.write(pic.content)

j += 1

# 主函数

if __name__ == '__main__':

name = "sjbz"

get_parse_page(name)