python windows 安装scrapy_Python Scrapy在windows上的安装方法

如果想要学习爬虫，肯定会了解Scrapy，但安装Scrapy的方法相对于安装其他第三方库麻烦一点。

下面总结一下在我的电脑上安装Scrapy的方法，我的电脑是Windows10，32位操作系统。有如下几个步骤：

1. 安装 Microsoft Visual C++ Build Tools，可以从https://visualstudio.microsoft.com/downloads/获取，得到这样一个exe文件，双击即可下载文件进行安装。记得勾选Visual C++生成工具选项。

如果不安装，后续安装twisted会报以下错误：

2. 安装pywin32，这个库必须使用.exe安装包来进行安装，利用pip容易出现安装出错。从http://sourceforge.net/projects/pywin32/下载跟操作系统匹配的安装包。

3. 利用pip安装twisted。Twisted是Python中一个非常重要的基于事件驱动的异步输入/输出引擎，它的安装依赖于pywin32和Visual C++ Build Tools。

pip install twisted

4. 利用pip安装Scrapy

pip install Scrapy

在上面过程中，通过exe安装pywin32是没办法指定安装位置的，所以pywin32只能安装到系统的python环境中。由于twisted和scrapy的安装，会附带安装大量的依赖库，这些依赖库仅在使用Scrapy时

才用到，因此，在第3步之前利用如下命令用virtualenv创建一个Python虚拟环境，将twisted和scrapy安装到虚拟环境中：

virtualenv --always-copy --system-site-packages spider

python windows 安装scrapy_Python Scrapy在windows上的安装方法相关推荐

Python 给定的经纬度标注在地图上的实现方法
今天小编就为大家分享一篇Python 给定的经纬度标注在地图上的实现方法,具有很好的参考价值,希望对大家有所帮助.一起跟随小编过来看看吧博主最近发现了python中一个好玩的包叫basemap,使用 ...
计算机itunes无法安装,Win7 iTunes安装出错怎么办？电脑上无法安装iTunes怎么解决？...
Win7 iTunes安装出错怎么办?这个问题很多用户都遭遇过,不过不幸的是,将近一半的用户使用的并非同样的32位(64位)程序包,当然这个很容易解决,难的是哪些下正确了却无法安装程序的用户.具体解决 ...
linux能安装音乐软件吗,Linux上如何安装使用音乐软件SoundCloud
Linux上如何安装使用音乐软件SoundCloud 卡饭网梦在深巷 2015-02-13 18:16:08 对于喜欢音乐的朋友来说,SoundCloud是个不错的音乐软件,SoundCloud是德 ...
mysql如何安装 centos7_如何解决centos7上mysql安装及问题
本文主要向大家介绍了如何解决centos7上mysql安装及问题,通过具体的步骤向大家展现,希望对大家学习mysql有所帮助. 1 卸载centos7自带mariadb数据库 (1)列出所有被安装的r ...
linux离线安装jemalloc,jemalloc在linux上从安装到使用
jemalloc在linux上从安装到使用上次在引导大家安装redis时提到可能会报错: 发现了redis有用到jemalloc. 首先,jemalloc是干什么的? 我们看看作者自己的介绍: je ...
oracle golden gate安装,Oracle GoldenGate在RAC上部署安装
很多用户都采用了OGG作为生产环境的灾备复制软件,生产端通常是双节点的RAC,灾备端可能是同样环境也可能是单实例环境.生产端在安装OGG时会从存储上划分一个独立的共享磁盘,将其做成文件系统,然后将OG ...
html5 判断是否安装app,js判断手机上是否安装app
通过js进行判断,判断手机上是否安装某一app,因为js并不能操作手机原生的API,所以它判断的方法只是通过动态生成iframe,用它打开app,看能不能打开,通过这个时间进行判断,下面有两段代码: ...
linux suse 安装redis,在openSuse linux上Redis安装简单步骤
1. 新建虚拟机,安装openSUSE-11.1 2. 安装后,关闭防火墙,这样ssh才可以连接 SuSEfirewall2 stop 3. ssh连接后,开始安装 redis 进入目录: cd /o ...
Python库cx_orcal 在64位win7上的安装记录
1.下载相应cx_orcal版本:https://pypi.python.org/pypi/cx_Oracle/5.2.1 2.下载orcal Instant Client : http://www ...

python windows 安装scrapy_Python Scrapy在windows上的安装方法

python windows 安装scrapy_Python Scrapy在windows上的安装方法相关推荐

最新文章

热门文章