pip install scrapy

pip install wheel
下载 twisted框架：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载好后安装：pip insta 下载的框架.whl
pip install pywin32
pip install scrapy

project_name/
scrapy.cfg：
project_name/__init__.pyitems.pypipelines.pysettings.pyspiders/__init__.py

scrapy.cfg 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据持久化处理
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫解析规则

# -*- coding: utf-8 -*-
import scrapy
class FirstSpider(scrapy.Spider):# 爬虫文件的名称: 可以通过爬虫文件的名称可以指定的定位到某一个具体的爬虫文件name = 'first'# 允许的域名: 只可以爬取指定域名下的页面数据allowed_domains = ['www.qiushibaike.com']# 起始url:当前工程要爬取的页面所对应的urlstart_urls = ['http://www.qiushibaike.com/']# 解析方法:对获取的页面数据进行指定内容的解析# response:根据起始url列表发起请求,请求成功后返回的响应对象# parse方法的返回值:必须为迭代器或者空def parse(self, response):print(response.text) # 获取响应对象的页面数据

# Obey robots.txt rules
ROBOTSTXT_OBEY = False # 改成False
# 对请求载体的身份进行伪装
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'

scrapy crawl 爬虫文件的名称

class QiubaiSpider(scrapy.Spider):name = 'qiubai'# allowed_domains = ['www.qiushibaike.com/text']start_urls = ['https://www.qiushibaike.com/text/']def parse(self, response):# 建议使用xpath进行解析（框架集成了xpath解析的接口）div_list = response.xpath('//div[@id="content-left"]/div ')for div in div_list:# xpath解析到的指定内容存储到了Selector对象# extract()该方法可以将Selector对象存储中存储的数据值拿到author = div.xpath('./div/a[2]/h2/text()').extract_first()# extract_first = extract()[0]content = div.xpath('.//div[@class="content"]/span/text()').extract_first()print(author)print(content)