Python3.X下安装Scrapy （转自鱼c论坛作者lumber2388779）

相信很多同学对于爬虫需要安装Scrapy时候，不想特地去安装2.X版本
我也是这样一个懒人，我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装，所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml，比如我的电脑，我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口，输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试，敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口，输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错，并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

我自己对原文做了一定修改和精简方便各位初学者，如果有问题也可以在本帖回复，我能够作答一定会告诉你的

原文地址：http://bbs.fishc.com/thread-84202-1-1.html

Python3.X下安装Scrapy （转自鱼c论坛作者lumber2388779）相关推荐

win10+python3.7下安装scrapy
有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下一.爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它 ...
python3.6安装scrapy出错_Mac中Python 3环境下安装scrapy的方法教程
前言最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: 1. 从官网下载最新版本Pyt ...
python爬虫scrapy步骤mac系统_Mac中Python 3环境下安装scrapy的方法教程
前言最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: # 在Mac上Python3环境 ...
Deepin下安装scrapy报错fatal error: Python.h: 没有那个文件或目录
Deepin下安装scrapy报错(亲测有效!) 问题描述在deepin操作系统上,使用python3.6,通过sudo pip3 install scrapy安装时候,出现以下错误: src/tw ...
Python下安装Scrapy
Python下安装Scrapy 依次执行如下命令: pip install wheel pip install lxml pip install pyOpenSSL pip install D:\T ...
如何解决python3.5.2安装scrapy的无法查找到vsvarall的问题
最近在使用python的Scrapy爬虫框架进行相应爬虫项目的开发和学些.但是在Windows环境下安装Scrapy的运行环境时,一直vsvarall.bat无法找到(is required < ...
Windows环境下安装scrapy
scrapy是Python开发的一个爬虫框架,很多情况下都是基于Linux系统安装,本篇将介绍windows环境下安装scrapy框架,亲测有效. 1.安装依赖直接pip install scrap ...
Python3 - Linux 下安装 LibreOffice 以及使用
Python3 - Linux下安装 LibreOffice 以及使用文章目录 Python3 - Linux下安装 LibreOffice 以及使用 1. 下载/安装 LibreOffice 2. ...
python3.6安装scrapy-Windows下安装scrapy（python3.6）
安装环境: Windows 8 64bit Python3.6 64bit 1. 安装Visual C++ Build Tools scrapy底层库依赖C语言编译环境,目前Python3.5和Pyt ...

Python3.X下安装Scrapy （转自鱼c论坛作者lumber2388779）

Python3.X下安装Scrapy （转自鱼c论坛作者lumber2388779）相关推荐

最新文章

热门文章