安装前的一些所谓的“废话”

Scrapy 是一个优秀的 Python 框架，相信很多初学者在安装 Scrapy 的时候会遇到一些坑(这些坑主要体现在 Windows 下的 twisted 安装)，本文就此做些记录。本文主要介绍过程主要是 window10 ， Linux 与 Window 的唯一差别在于 twisted 安装很省事，具体怎样省事，下面会提到。（当然通常情况下 Linux 下默认本身自带 python2.7 ，安装时注意指定使用特定版本的命令）

默认前提是你的电脑已经安装了 python3 环境（感觉在这就是废话）：没有的话自行百度安装。

注意：这里要注意的是，因为我们之后的安装都需要用到控制台（cmd）操作，但是默认情况下你安装的 python3 是在C盘，这里打开控制台就必须以管理员模式打开 cmd。普通模式安装的时候很大可能会因权限不足失败。（Linux 下的话在命令前面加上 sudo 即可）

开始前先升级一下：pip

pip install pip --upgrade

开始安装

安装资料当然最好最权威是官网资料啦：

https://docs.scrapy.org/en/latest/intro/install.

我们看到：

但是直接在控制台（管理员模式下的 cmd.exe）执行是会失败的，因为往下看会发现 scrapy 需要这些依赖库：

所以我们要执行以下命令来安装依赖：

pip install lxml
pip install w3lib
pip install parsel
pip install cryptography
pip install pyOpenSSL
pip install twisted  # 该选项需要  Microsoft Visual C++ 14.0（当时是在 Windows 下的要求）

最后一条命令在执行的时候通常会因为你的电脑上没有安装 Microsoft Visual C++ 14.0，造成编译安装失败，解决方法呢，可以自行百度安装 Microsoft Visual C++ 14.0，但是这个不好找，微软官网我也看了一下，只有几个 GB 的全家桶。所以最后我选择了更简单的办法，到这里：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

PS1：这也是与 Linux 下唯一的差别，Linux 直接执行上面的几条命令就可以完成

PS2：之所以这样解决可以成功是因为，python 是可以基于 C/C++ 编写扩展库的，但是你编写了，就需要按要求使用指定的C/C++编译器，才能编译安装，下面使用的是已经编译好的 *.whl, 跳过了编译步骤，所以就不用安装 Microsoft Visual C++ 14.0

安装下载下来的编译过的: Twisted-18.7.0-cp36-cp36m-win_amd64.whl

此时相关依赖已经全部安装完毕，这个时候你就可以从容潇洒的执行：

pip install scrapy

最后不出意外的话你就会看到：

此时你已经成功安装 scrapy。

PS：如果很不幸你失败了，那么请确保你认真看了本教程，如果认真看了，你还是失败了，那请自行百度，或者文章下面留言（详细描述错误信息）。我看到会及时回复。

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）相关推荐

Win7 下安装 Visual Studio 2008 失败的解决办法
Win7 下安装 Visual Studio 2008 失败的解决办法安装失败一般的可能性如下: 1.这种可能性对于熟练的软件开发人员应该极小--试图在64位的系统上安装 Visual Studio ...
Linux 下 Shell 命令 IFS 分隔符 -- 应用场景解决办法
Linux 下 Shell 命令 IFS 分隔符 – 应用场景 && 解决办法文章目录 Linux 下 Shell 命令 IFS 分隔符 -- 应用场景 && 解决办 ...
安装wireshark显示npcap失败的解决办法
如何解决wireshark安装npcap失败之后无法查找到接口的问题这个问题真的困扰了我很久,我在网上查找了各种办法都没有成功, 包括: 下一个新版本的npcap 关闭杀毒软件使用CCleaner ...
阿里云的云虚拟主机安装dede提示数据库连接失败的解决办法
问题描述阿里云的云虚拟主机安装dede提示数据库连接失败问题分析连接数据库失败,可能数据库密码不对或数据库服务器出错! 解决方案 1.通过ftp软件查看htdocs/data/common.in ...
python删除不彻底，安装新的版本失败的解决办法
解决办法: 1.找到安装python时用的安装包,右键->以管理员身份运行->点击repair修复 2.修复成功后,右键旧安装包->以管理员身份运行->点击uninstall卸 ...
linux ubuntu 切换到超级用户失败的解决办法（su 认证失败）
如图错误: yg@ubuntu:~$ su 密码: su:认证失败 yg@ubuntu:~$ su passwd root 没有用户"passwd"的密码项 yg@ubuntu:~ ...
ubuntu18.04更新后VMware-workstation15.5.1弹窗kernel Module Updater并安装模块vmnet vmmon失败，解决办法
情况:更新ubuntu的linux内核后启动VMware-workstation15.5.1弹窗: 点击安装后显示在安装模块vmnet和vmmon但很快会失败并弹下窗: 打开/tmp/vmware-h ...
sql2000提示“安装程序配置服务器失败”的解决办法
由于系统中了病毒重装了系统,但是想装sql Server2000时总是提示如图片的信息用以下的方法解决了问题, 问:安装MSDE时出现:"配置服务器失败,请参考服务器错误日志和安装错误日志, ...
linux刻录光盘空间不足,linux下刻录光盘所发生的问题及解决办法
刻录环境:系统CentOS5.3 刻录光驱:DVD刻录以前在改Linux上刻录的时候好好的,不管刻录CentOS32位还是64位,或者刻录cd还是dvd都没有问题,但是今天刻录了好几张dv ...
中文路径刻录Linux总是损坏,linux下刻录光盘所发生的问题及解决办法
刻录环境:系统CentOS5.3 刻录光驱:DVD刻录以前在改Linux上刻录的时候好好的,不管刻录CentOS32位还是64位,或者刻录cd还是dvd都没有问题,但是今天刻录了好几张dv ...

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）

安装前的一些所谓的“废话”

开始安装

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）相关推荐

最新文章

热门文章

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法 ）

安装前的一些所谓的“废话”

开始安装

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法 ）相关推荐

最新文章

热门文章

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）相关推荐