Python爬虫之Scrapy库的下载和安装

下载scrapy库

1、点击https://www.lfd.uci.edu/~gohlke/pythonlibs，进入该网页后Ctrl+F输入scrapy进行搜索，选择对应的版本点击下载即可。
(下面红框为所需要的内容)

安装srapy库

1、需要注意的是：在安装srapy库之前，还需要有wheel、lxml、pywin32、twisted这些插件，所以接下来我们需要下载和安装这些插件。wheel插件可以直接打开cmd，输入下面的命令就可以安装。

pip install wheel

2、和下载scrapy库一样，点击https://www.lfd.uci.edu/~gohlke/pythonlibs，进入该网页后Ctrl+F依次输入其他三个插件进行搜索，选择对应的版本点击下载即可。
(注：cp36、cp37等等，表示的是python的版本，如果你的python是3.6版本，则对应的选择cp36，再根据你的电脑是32位还是64位选择下载。)

3、安装：打开cmd，将路径切换成你下载插件的路径，使用cd 加上所要切换的路径。切换完之后依次输入以下的命令行，即可完成安装。

pip install Twisted‑20.3.0‑cp38‑cp38‑win_amd64.whl
pip install lxml‑4.5.1‑cp38‑cp38‑win_amd64.whl
pip install pywin32‑227‑cp38‑cp38‑win_amd64.whl
pip install Scrapy-2.1.0-py2.py3-none-any.whl

4、如果在安装scrapy库的过程中出现以下错误：

ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: 'C:\\Users\\29791\\AppData\\Local\\Temp\\pip-req-tracker-lpahl_qe\\7d96500e48573e7d28b5abcbae0e73f0b45e3d99eec03e13be8c946f'

则重新输入以下命令行：

pip install --user Scrapy-2.1.0-py2.py3-none-any.whl

5、打开cmd，将路径切换到你安装scrapy库的路径，输入以下命令新建一个project，其中文件名为你给该工程取的工程名，若出现"New Scrapy project"的字段则表示scrapy库安装成功。

scrapy startproject 文件名

Python爬虫之Scrapy库的下载和安装相关推荐

Python3爬虫之Scrapy框架的下载器中间件
Python爬虫之Scrapy框架的下载器中间件基本介绍下载器中间键可以为我们设置多个代理ip与请求头,达到反反爬虫的目的下面是scrapy为我们创建好的中间件的类下面是中间件中的下载器函数, ...
Python爬虫——利用Scrapy批量下载图片
Python爬虫--利用Scrapy批量下载图片 Scrapy下载图片项目介绍使用Scrapy下载图片项目创建项目预览创建爬虫文件项目组件介绍 Scrapy爬虫流程介绍页面结构分析定义I ...
Python爬虫之scrapy下载文件和图片
Python爬虫之scrapy下载文件和图片一:pipeline 二:使用scrapy下载图片 2.1 创建scrapy项目 1.2 创建爬虫 1.3 配置文件设置 1.4 编写启动文件 1.5 爬 ...
python 爬虫实例-Python 爬虫：Scrapy 实例（二）
原标题:Python 爬虫:Scrapy 实例(二) 稍微增加点难度,做个所需项目多一点的,并将的结果以多种形式保存起来.我们就从网络天气预报开始. 首先要做的是确定网络天气数据的来源.打开百度,搜索 ...
Python爬虫之scrapy框架360全网图片爬取
Python爬虫之scrapy框架360全网图片爬取在这里先祝贺大家程序员节快乐,在此我也有一个好消息送给大家,本人已开通了微信公众号,我会把资源放在公众号上,还请大家小手动一动,关注过微信公众号, ...
Python爬虫下一代网络请求库httpx和parsel解析库测评
Python网络爬虫领域两个最新的比较火的工具莫过于httpx和parsel了.httpx号称下一代的新一代的网络请求库,不仅支持requests库的所有操作,还能发送异步请求,为编写异步爬虫提供了便 ...
Python 爬虫下一代网络请求库 httpx 和 parsel 解析库测评
这是「进击的Coder」的第 437 篇技术分享作者:大江狗来源:Python Web与Django开发 " 阅读本文大概需要 8 分钟. " Python 网络爬虫领域两个最 ...
python爬虫之Scrapy框架的post请求和核心组件的工作流程
python爬虫之Scrapy框架的post请求和核心组件的工作流程一 Scrapy的post请求的实现在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对star ...
精通python爬虫框架-精通Python爬虫从Scrapy到移动应用（文末福利）
原标题:精通Python爬虫从Scrapy到移动应用(文末福利) 我能够听到人们的尖叫声:"Appery.io是什么,一个手机应用的专用平台,它和Scrapy有什么关系?"那么,眼 ...

Python爬虫之Scrapy库的下载和安装

Python爬虫之Scrapy库的下载和安装

Python爬虫之Scrapy库的下载和安装相关推荐

最新文章

热门文章