在cmd下安装Scrapy怎么解决方案python3

2024-06-09 20:38:09

感谢楼主真的很棒转载来自：https://blog.csdn.net/zjiang1994/article/details/52689144

写在前面

最近在学习爬虫，在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。
没想到啊，这坑太深了。。。

看了看相关介绍后选择了Scrapy框架，然后兴高采烈的打开了控制台，

pip install Scrapy

坑出现了。。。。

运行报错

error: Unable to find vcvarsall.bat

开始上网查解决方法。。
看了大多数方法，基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

最后花费了将近一天的时间，终于找到了解决方法。

使用wheel安装。

这个网站里边是编译好的各种库的
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同时，推荐一篇我的Scrapy入门实例博客：

scrapy爬虫框架入门实例

希望可以帮到刚接触python和scrapy的同学。

安装方法

首先安装wheel

pip install wheel

安装完成后验证是否成功

wheel

安装成功是这样

然后去上边的网站下载Scrapy库，
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址（我放在了D:\）
然后在控制台进入该地址
在该地址下输入

pip install [whl]

注：[whl]表示你的.whl文件，一定要全名，XXXX.whl

然后，并没有结束。。。。。

安装过程还是有可能失败

可能会出现

Failed to build XXXX

之类的提示一闪而过（比如说我提示的 twisted），最后安装失败还是提示

error: Unable to find vcvarsall.bat

为什么会这样那，因为Scrapy框架基于Twisted

所以，要做的就是去网站下载Twisted之类的安装文件，先把它们装上，安装方法和上边的相同。

最后终于成功了。
建个项目测试一下

scrapy startproject pyjy

注：pyjy为项目名

成功了，撒花～～

在cmd下安装Scrapy怎么解决方案python3相关推荐

python3.6安装scrapy出错_Mac中Python 3环境下安装scrapy的方法教程
前言最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: 1. 从官网下载最新版本Pyt ...
win10+python3.7下安装scrapy
有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下一.爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它 ...
Python下安装Scrapy
Python下安装Scrapy 依次执行如下命令: pip install wheel pip install lxml pip install pyOpenSSL pip install D:\T ...
python爬虫scrapy步骤mac系统_Mac中Python 3环境下安装scrapy的方法教程
前言最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: # 在Mac上Python3环境 ...
Windows环境下安装scrapy
scrapy是Python开发的一个爬虫框架,很多情况下都是基于Linux系统安装,本篇将介绍windows环境下安装scrapy框架,亲测有效. 1.安装依赖直接pip install scrap ...
Deepin下安装scrapy报错fatal error: Python.h: 没有那个文件或目录
Deepin下安装scrapy报错(亲测有效!) 问题描述在deepin操作系统上,使用python3.6,通过sudo pip3 install scrapy安装时候,出现以下错误: src/tw ...
Python3.X下安装Scrapy （转自鱼c论坛作者lumber2388779）
相信很多同学对于爬虫需要安装Scrapy时候,不想特地去安装2.X版本我也是这样一个懒人,我从网上找到这篇文章在Python3.x下安装和测试Scrapy爬网站根据上边的教程可以在我的电脑上 ...
python3.6安装scrapy-Windows下安装scrapy（python3.6）
安装环境: Windows 8 64bit Python3.6 64bit 1. 安装Visual C++ Build Tools scrapy底层库依赖C语言编译环境,目前Python3.5和Pyt ...
windows环境下安装scrapy框架报错问题--最快捷有效的解决方案
windows在执行如下命令,安装scrapy的过程中会报错: pip install scrapy 报错分析: windows环境下,会出现如下错误: 1.提示的错误是编译环境的问题,字面意思看需要 ...
Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）
安装前的一些所谓的"废话" Scrapy 是一个优秀的 Python 框架,相信很多初学者在安装 Scrapy 的时候会遇到一些坑(这些坑主要体现在 Windows 下的 twis ...

最新文章

热门文章