一、Scrapy安装

Scrapy有很多依赖包，在windows 下安装很复杂。直接pip安装scrapy会报出很多错误。具体依赖问题使用下面安装的例子

1.1 传统方法

先安装框架需要的依赖包，然后再安装scrapy框架。

1.1.1安装wheel

直接使用pip命令 pip install wheel

1.1.2 安装lxml

在http://www.lfd.uci.edu/~gohlke/pythonlibs/ 在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install lxml-4.3.3-cp37-cp37m-win_amd64.whl

1.1.3 安装zope.interface

在https://pypi.python.org/pypi/zope.interface#downloads在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

1.1.4 安装pyOpenSSL

https://pypi.python.org/pypi/pyOpenSSL#downloads在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install pyOpenSSL-19.0.0-py2.py3-none-any.whl

1.1.5 安装Twisted

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install Twisted-19.2.0-cp37-cp37m-win_amd64.whl

以上lxml、zope.interface、pyOpenSSL、Twisted包安装完毕成功示意如图1：

图1：lxml、zope.interface、pyOpenSSL、Twisted包安装

1.1.6 安装pywin32

直接“下一步”安装就好

https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装

Pywin32安装直接下一步，安装完成的情况如下图2：

图2 Pywin32安装

【只要按要求将上面的依赖包都安装成功，scrapy就能安装成功了】

使用pip install scrapy命令安装scrapy框架。Scrapy安装成功如图3.

图3 scrapy成功安装

命令行中输入scrapy，可以看到scrapy可以使用的命令。

Python scrapy环境搭建相关推荐

搭建python_Crawlab准备之python+scrapy环境搭建
阅读文本大概需要3分钟. 上篇<分布式爬虫管理平台Crawlab开发搭建>把爬虫的管理后台搭建起来了:捣鼓一番发现要真正爬取数据还有下不少的功夫.这篇看看怎么搭建python+scrapy ...
python scrapy 环境搭建_Python Scrapy 爬虫（一）：环境搭建
Life is short, I use Python 三年前的一天,我在灵隐寺求佛时,偶遇一高僧,法号智息.大师见我眉头紧皱,心事重重,于是便主动上前来开导我.大师充满智慧地告诉我了一句真理:&qu ...
python scrapy 环境搭建_python+scrapy环境搭建步骤描述
Python3(3.5.4)搭建爬虫系统步骤描述: 1.下载python安装包,路径:https://www.python.org/downloads/windows/ 选择3.5.4版本64位的安 ...
苹果系统安装python环境_mac下python相关环境搭建（python开发必经之路之mac快速上手）...
小结本篇文章是对上一篇文章<MacOS的小结及终端shell的选择和相关配置全过程(zsh+iTerm2+powerline全解)>的一些拓展和总结,对于相关问题的详细解释和拓展点的标注 ...
Python学习--环境搭建
Python学习入门–环境搭建 Python简介在进行Python环境搭建之前 ,先简单的介绍一下Python这门语言. Python, 是一种面向对象的解释型计算机程序设计语言,由荷兰人Guido ...
Python selenium环境搭建
Python selenium环境搭建一.python下载安装 1. python获取路径:https://www.python.org/downloads/release/python ...
python opengl_Python环境搭建之OpenGL
以下内容为我python OpenGl 环境搭建历程: win7 64位操作系统,python3.5.3 ,无其他相关. 直接cmd或PowerShell输入以下命令: pip install PyO ...
python服务器环境搭建（2）——安装相关软件
在上一篇我们在本地的虚拟服务器上安装好CentOS7后,我们的python web服务.自定义的python service或python脚本需要在服务器上运行,还需要在服务器安装各种相关的软件才行, ...
intelRealsense D435 python开发环境搭建
首先说一下电脑的配置系统:win7 语言:python2.7 安装应该是从D系列开始官方的开发文档都整合在了github,事实上,官方也有python环境安装说明,只是全部是英文,英语好的同学可以 ...

Python scrapy环境搭建