Scapy框架相关的内容，这里不在搬砖，官方给出的中文文档，已经足够详尽清晰。

Scrapy框架上手非常简单，跟着教程一步步走就可以了，爬取一些静态资源是毫无问题的，但现如今，大部分网站为了封禁爬虫，都会采取一些防爬策略，最典型的是通过ajax动态渲染界面，以爬取图片为例，网页用js加载图片使得scrapy.request url时获得的response中不暴露图片url，而是一大段js函数，为解决这个问题，可以结合使用Python scrapy-splash拓展包。

1. 爬取动态页面环境准备

1.1 安装scrapy-splash，终端直接运行

pip install scrapy-splash

1.2. 安装scrapy-splash服务

docker pull scrapinghub/splash

1.3. 启动一个splash服务容器，运行:

docker run -p 8050:8050 scrapinghub/splash

如有疑问，可直接参考scrapy-splash项目地址https://github.com/scrapy-plugins/scrapy-splash

1.4.splash服务有啥用呢？ 尝试用浏览器访问http://localhost:8050 可以看到如下界面:

试着在右边输入框输入任意一个ajax动态网页，点击render me! 稍等片刻后，便会看到页面返回了splash渲染后的结果。

2. 配置你的scrapy项目

2.1 在项目settings.py里面添加如下配置:

SPLASH_URL = 'http://localhost:8050'

DOWNLOADER_MIDDLEWARES = {

'scrapy_splash.SplashCookiesMiddleware': 723,

'scrapy_splash.SplashMiddleware':725,

'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,

}

SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, }

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

2.2 在项目爬虫文件中修改scrapy.Request为SplashRequest，这样Scrapy engine访问Url时SplashRequest直接把请求发给sracpy-splash服务端，sracpy-splash服务端成功访问url后将渲染后的结果返回给scrapy-engine，代码如下：

script = """

function main(splash, args)

assert(splash:go(args.url))

assert(splash:wait(args.wait))

return { html = splash:html(),}

end

"""

classExampleSpider(scrapy.Spider):

defstart_requests(self):

for url in self.start_urls:

yield SplashRequest(url=url, callback=self.parse, endpoint='execute',args={'lua_source': script, 'wait': 0.5})

defparse(self, response):

pass

注意这里的request是通过执行lua脚本转发的，当然你也可以通过手动在要访问的url外面封装一层，让splash服务直接访问封装后的url。

2.2 接下来的就是爬虫具体的业务了，例如你如果想爬取某个网站并将网站上的图片保存到本地，

首先需要在项目items.py文件中新建imagepipeline，如:

import scrapyfrom scrapy.exceptions

import DropItemfrom scrapy.pipelines.images

import ImagesPipelineclass

MyImagesPipeline(ImagesPipeline):

defget_media_requests(self, item, info):

for image_url in item['image_urls']:

# 注意这里一定要用 scrapy.Request访问图片url，不能用SplashRequest访问url，

# 因为scrapy框架引擎本身不能解析SplashResponse，需要重写部分方法。

yield scrapy.Request(image_url)

defitem_completed(self, results, item, info):

image_paths = [x['path'] for ok, x in results if ok]

ifnot image_paths:

raise DropItem("Item contains no images")

item['image_paths'] = image_paths

return item

同样在项目settings.py里面配置下载中间件相关的配置:

ITEM_PIPELINES = {'你的项目名称.pipelines.MyImagesPipeline': 300}

IMAGES_STORE = '你项目保存图片的目录/'IMAGES_EXPIRES = 90

你的爬虫里面也需要重写parse函数，及时yield出imageItem给下载中间件，自动下载图片，代码如下:

defparse(self, response):

list_imgs = response.xpath('//div[@class="text"]/p/img/@src').extract()

# xpath需要修改成目标网站中你想提取的内容，如图片url等

iflist_imgs:

item = ImageItem()

item['image_urls'] = list_imgs

yield item

OK， 完成以上工作，就可以运行你的爬虫了，尽情的爬取网站中的各种小姐姐吧(手动偷笑)！