l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

文章目录

1.开发环境
2.第三方库
3.Scrapy简介
4.Scrapy用法
- 1.安装
- 2.新建工程
- 3.运行工程
- 4.meinv.py
- 5.items.py
- 6.piplines.py
- 7.settings.py
5.效果
6.Github源码

前两篇文章我们介绍了通过传统的方式获取美女图片的方式：
[day1]python网络爬虫实战：爬取美女写真图片
[day2]python网络爬虫实战：爬取美女写真图片(增强版)

这次我们介绍一种新的获取图片或文件的方式：Scrapy。

1.开发环境

IDE: PyCharm 2021.2.1 (Professional Edition)
Python: 3.9.7

2.第三方库

scrapy：网络请求
lxml.etree：分析HTML特征，获取图片地址

3.Scrapy简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

4.Scrapy用法

1.安装

在pycharm中我们手动安装scrapy：

2.新建工程

我们可以在任意一个目录下创建工程。

新建工程

scrapy startproject meinv

提示：

You can start your first spider with:cd meinvscrapy genspider example example.com

生成模板工程
输入上述命令后，系统帮我们自动生成了一个scrapy项目的模板：

3.运行工程

terminal中输入：

scrapy crawl meinv

如果每次这么输入嫌麻烦，可以新建一个py文件，内容如下：

from scrapy import cmdline
cmdline.execute("scrapy crawl meinv".split())

4.meinv.py

每个项目的spider文件夹下有个主py文件，里面有个函数：

def parse(self, response):

response就是已经解析好的URL的网页源码，然后通过xpath分析网页的内容，获取图片列表。

5.items.py

自定义字段，用来存储一些信息。比如我们定义了一个image_url用来存储图片地址：

image_url = scrapy.Field()

6.piplines.py

piplines用来清洗数据之用。一般需要自定义一个pipline。
有几个函数是系统自带的，每个函数有各自的用法：

file_path：用来定义保存的图片名

def file_path(self, request, response=None, info=None):

get_media_requests：访问图片URL
通过yield scrapy.Request可以下载图片：

def get_media_requests(self, item, info):

item_completed：图片下载结果

def item_completed(self, results, item, info):

7.settings.py

配置自定义的pipline和图片下载路径：

ITEM_PIPELINES = {'meinv.pipelines.MeinvPipeline': 300,
}
# 设置图片下载路径
IMAGES_STORE = 'C:\\meinv'

5.效果

6.Github源码

[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

欢迎关注我的技术公众号：国民程序员，我们的目标：输出干货

每天分享原创技术文章

海量免费技术资料和视频学习资源

分享赚钱门道，带领程序员走向财务自由

[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)相关推荐

[day2]python网络爬虫实战：爬取美女写真图片(增强版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
lofter 爬虫_Python网络爬虫1 - 爬取网易LOFTER图片
LOFTER是网易出品的优质轻博客,灵感源于国外的tumblr,但比之更加文艺,更加本地化.本人非常喜欢LOFTER的UI设计,以及其中的优质用户和内容,似乎网易并不擅长推广,所以受众并不广泛.这都是 ...
[day1]python网络爬虫实战：爬取美女写真图片
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
Python 网络爬虫：爬取4K高清美图
爬取4K高清美图这篇爬虫主要是用来爬取网站高清4K图片,这也是笔者学初学爬虫的时候最先写一个的爬虫脚本,现在回过头来重新梳理一下,也算是对从前知识的一个总结,希望对大家有所帮助! 文章目录爬取4K ...
Python网络爬虫：爬取并下载个性化签名图片附GUI窗体版
Hello,大家好,我是wangzirui32,最近我开了个新的系列,是"Python网络爬虫"分类,还请大家多多支持! 今天,我们来学习如何爬取并下载个性化签名图片,开始学习吧! ...
【爬虫实战】10应用Python网络爬虫——定向爬取百度百科文字
python百度百科爬虫网页源代码分析编程实现小结网页源代码分析首先找一下需要爬取的正文: 对应的源代码有两个地方: 上图往后翻会发现省略号,所以下面这张图才是我们需要爬取的部分: 编程实现 ...
Python网络爬虫之爬取微博热搜
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
Python网络爬虫：爬取CSDN热搜数据并保存到本地文件中
hello,大家好,我是wangzirui32,今天我们来学习如何爬取CSDN热搜数据,并保存到Excel表格中. 开始学习吧! 学习目录 1. 数据包抓取 2. 编写代码 1. 数据包抓取打开CS ...
Python网络爬虫：爬取豆瓣上《小王子》书评
本文为南大<用Python玩转数据>学习笔记用到的库或模块: 1.Requests第三方库用于中小型网络爬虫的信息抓取. 基本方法: requests.get() 请求获取指定YRL位 ...