python开发爬虫-Python3 Scrapy 安装方法（一脸辛酸泪）

2024-05-06 13:22:29

写在前面

最近在学习爬虫，在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。
没想到啊，这坑太深了。。。

看了看相关介绍后选择了Scrapy框架，然后兴高采烈的打开了控制台，

pip install Scrapy

1

坑出现了。。。。

运行报错

error: Unable to find vcvarsall.bat

1

开始上网查解决方法。。
看了大多数方法，基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

最后花费了将近一天的时间，终于找到了解决方法。

使用wheel安装。

这个网站里边是编译好的各种库的
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同时，推荐一篇我的Scrapy入门实例博客：

scrapy爬虫框架入门实例

希望可以帮到刚接触python和scrapy的同学。

安装方法

首先安装wheel

pip install wheel

1

安装完成后验证是否成功

wheel

1

安装成功是这样

然后去上边的网站下载Scrapy库，
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址（我放在了D:\）
然后在控制台进入该地址
在该地址下输入

pip install [whl]

1

注：[whl]表示你的.whl文件，一定要全名，XXXX.whl

然后，并没有结束。。。。。

安装过程还是有可能失败

可能会出现

Failed to build XXXX

1

之类的提示一闪而过（比如说我提示的 twisted），最后安装失败还是提示

error: Unable to find vcvarsall.bat

1

为什么会这样那，因为Scrapy框架基于Twisted

所以，要做的就是去网站下载Twisted之类的安装文件，先把它们装上，安装方法和上边的相同。

最后终于成功了。
建个项目测试一下

scrapy startproject pyjy

1

注：pyjy为项目名

成功了，撒花～～

python开发爬虫-Python3 Scrapy 安装方法（一脸辛酸泪）相关推荐

python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
python3 [爬虫入门实战]爬虫之scrapy安装与配置教程标签: python爬虫scrapy 2017-07-08 15:38 77人阅读评论(0) 收藏举报分类: python3爬虫 ...
开源 Python网络爬虫框架 Scrapy
开源 Python 网络爬虫框架 Scrapy:http://blog.csdn.net/zbyufei/article/details/7554322 介绍所谓网络爬虫,就是一个在网上到处或定向抓 ...
python开发工具和框架安装器_Python 开发工具和框架安装
引言: 其实之前对于 Python,只是知道有这门语言而已.大部分还是使用 .net 开发的,之前也学了 MVC+EF 开发,但是由于工作上完全用不到,也就没有在博客记录学习的东西了. 最近又接触到了 ...
python开发软件的实例-Python 开发工具和框架安装实例步骤
引言: 其实之前对于 Python,只是知道有这门语言而已.大部分还是使用 .net 开发的,之前也学了 MVC+EF 开发,但是由于工作上完全用不到,也就没有在博客记录学习的东西了. 最近又接触到了 ...
Python开发爬虫完整代码解析
Python开发爬虫完整代码解析移除python 三天时间,总算开发完了.说道爬虫,我觉得有几个东西需要特别注意,一个是队列,告诉程序,有哪些url要爬,第二个就是爬页面,肯定有元素缺失的,这个究 ...
python如何安装wordcloud_基于python的wordcloud库的安装方法
基于python的wordcloud是最近十分流行的一项技术,而在学习这门技术之前,一定要学会安装.下面给大家介绍一下wordcloud的安装步骤. Tip: python第三方组件有很多都是whl文 ...
Python开发多媒体管理软件实现方法
软件开发环境 python 3.7.3 pycharm Community 2020 PYQT5 教师端控制界面下拉列表显示全部已经连接的客户端ip地址对选中的设备进行查看设备信息,重启电脑,关闭 ...
python开发工具pycharm-community版安装教程
python开发工具pycharm-community版安装教程打开页面我们这里选择community版本,也就是社区版. 选择一个安装位置,下一步打钩,这里没有出现JRE下载,可能是笔者的计算 ...
Python——Python3.6.0+Scrapy安装方法（总算没有bug了）
1.安装Python3.6.0 从https://www.python.org/downloads/下载Python3.6.0 记得安装时把Python加到Path,勾上所有选项,包括pip的安装 2 ...

最新文章

热门文章