对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具。今天安装之后觉得Scrapy的安装确实不易啊。所以在此博文一篇,往后来着少走弯路。

废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述。

scrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确的结果。本人今天就吐学半天,终于守得云开见明月。

本次安装使用的系统环境是windows 7。以下给出具体步骤。我想如果照做一定能够成功哦。

1.安装python2.7.这里选择的是python2.7,为什么选择这个版本,首先,scrapy官网上明确写出:requirements:Python 2.5, 2.6, 2.7 (3.x is not yet supported), 即目前只支持python2.5,2.6,2.7.3以上版本的python还不支持。ActiveState 制作的ActivePython 是专门针对 Windows 的 Python 套件,它包含了一个完整的 Python 发布、一个适用于 Python 编程的 IDE 以及一些 Python 的 Windows 扩展,提供了全部的访问 WindowsAPIs 的服务,以及 Windows 注册表的注册信息。 虽然ActivePython 不是开源软件,但它可以自由下载。故此本人推荐安装

本人在此为初学者推荐你一些较好的学习资料,希望对大家有所帮助,网络资源共享,大家进步才会快些。

另外推荐一个Python视频学习网站http://www.csvt.net/video#,这些对于初学者还是很不错的。

选择你觉得喜欢的IDE,之后就开始今天的安装了,安装之后首先设置环境变量,具体步骤如下:我的电脑-》高级环境变量里,

将C:\Python27加入到环境变量。

到这里安装python结束,在cmd模式下输入执行python,产生下面的类似的画面表示python安装成功.

2.按照python官网准备安装twisted.

twisted的安装方法,安装twisted先需要zope.interface,PyopenSSL,这2个第三方包。而通过twisted官网上,我们可以看见下载的都是zope.interface,PyopenSSL等都是egg文件,那么在这里我们就先需要setuptools工具。

双击这个图标执行。那么执行后在python根目录下的scripts文件夹里就会有easy_install.py等文件了,都带有easy_install字眼。easy_install工具安装完成。

这里我们选择

,下载,这样的一个文件,这时候把这个egg文件拷贝进入刚才我们说道的python根目录下的scripts目录,同easy_installs等文件一个目录位置。然后进入cmd模式,在cmd模式下进入这个script目录,执行easy_install.py  egg文件名,执行安装这个egg文件。

这里检查zope.interface是否安装成功,

,在python环境中执行import zope.interface,加入不报错误,那么说明zope.interface安装正确。

3.同上,执行安装PyOpenSSL.在http://pypi.python.org/pypi/pyOpenSSL 这里,有

这些版本的pyOpenSSL供你选择。在这里我们选择

安装pyOpenSSL,先将下载到的pyOpenSSL,拷贝到scripts文件夹中,然后进入到cmd模式下,在cmd模式中进入到对应的scripts文件夹下,执行easy_install.exe pyOpenSSL-0.12-py2.6-win-amd64.egg ,进行安装。效果图为

在执行验证是否安装成功:在python环境中,执行import OpenSSL,查看是否能正常执行在·导入。

加入不报一场或错误,则表示安装正确。

4.安装twisted.回到twisted的下载链接:http://twistedmatrix.com/trac/wiki/Downloads,因为我们这里需要的是python2.6的对应的twisted版本。

这里我们选择了第二个的exe版本。下载后双击就能安装.

安装过程是自动执行的。所以也就不做过多说明,又可能发生的错误是版本对应不一致,是因为你没有选择当前和你python对应的版本的twisted.到这里twisted安装完成,但是具体是否还有问题,我们不能急于的下结论,因为当前的支持包已经有4种了,分别是setuptools,zope.interface,pyOpenSSL,twisted,而在twisted中不是还有一个PyCrypto 2.0.1 for Python 2.5 吗?我们并没有理他,我在这里因为是使用了python2.6版本,所以先暂时不理他,但是能完全不理他吗?因为我们并不确定这个包起到的作用,或者,在python.26里,或者在对应于python26版本的twisted是否存在PyCrypto 2.0.1.或者是替代他的作用的包。所以只能说暂时,到时候在实际开发过程中如果有任何问题在考虑之。

3.按照scrapy官网,安装lxml.在scrapy 的http://doc.scrapy.org/intro/install.html#intro-install最下面的一段又关windows安装的情况。到这里点击关于lxml的选项,进入:http://users.skynet.be/sbi/libxml-python/ ,在这里我们选择了:

第二项,又libxml for python2.6等关键字.安装后在python环境中执行import libxml2

,如果未报错,表示正确。

4.安装scrapy.进入scrapy 官网:http://scrapy.org/download/ 这个链接,点击Scrapy 0.12 on PyPI ,注意他后面可是有括号的,(include windows installers),表示点击这里也可以在windows下安装的。进入http://pypi.python.org/pypi/Scrapy 这个页面,

点击这里关于exe的格式,进行下载。下载后直接进行双击就可以执行了。这个时候查看是否在python目录下的第三方目录中(即site-package)中是否有关于scrapy的文件夹了,然后在cmd模式中任意目录输入scrapy,

这时候提示出错误,是需要把python根目录下的script目录设置到环境变量中。

,然后重新打开一个cmd窗口,在任意位置执行scrapy命令,得到下列页面,表示环境配置成功.

但是本人当时发现一个问题在使用SCRAPY SHELL命令时候发现不能输出,重新查找安装文件,发现需要lxml

至此Scrapy的安装全部介绍完毕,希望对大家有用。

python安装scrapy教程_Python实用工具包Scrapy安装教程相关推荐

  1. python分布式爬虫框架_python之简单Scrapy分布式爬虫的实现

    分布式爬虫:爬虫共用同一个爬虫程序,即把同一个爬虫程序同时部署到多台电脑上运行,这样可以提高爬虫速度. 在默认情况下,scrapy爬虫是单机爬虫,只能在一台电脑上运行,因为爬虫调度器当中的队列queu ...

  2. python识别pdf文字_Python 神工具包!翻译、文字识别、语音转文字统统搞定

    今天给大家介绍一款 Python 制作的实用工具包,包含多种功能: 音频转文字 文字转语音 截图 OCR文字识别 复制翻译 举个例子,比如截图 OCR 文字识别就有很多实用场景. 常会遇到有些 PDF ...

  3. python如何离线安装第三方库_Python在线和离线安装第三方库的方法

    Python在线和离线安装第三方库的方法 Windows环境: (1)离线安装 首先在线搜索并下载你需要的第三方库:网址https://pypi.org/project/ 安装whl包: pip in ...

  4. python的pip文件目录_python基础—pip指定安装目录

    pip 指定某个路径安装包 场景: 有的时候我们安装了annconda环境,有很多的python环境,比如py36, py37, py27.此时,我们使用pip安装包的时候,经常可能安装在一个不知道的 ...

  5. python项目运行环境_python项目运行环境安装小结

    安装最新即可,实际的版本号可能不一样 安装过程较复杂,建议用一台单独的vm安装,能做成docker image最好 基础软件 nginx-1.10.0: sudo apt-get install ng ...

  6. python jieba库下载_Python中jieba库安装步骤及失败原因解析

    Python 中 jieba 库安装步骤及失败原因解析 作为计算机小白, Python 的流行也让我蠢蠢欲动, 在请教计算机 专业同学后,开始上网课自学 Python 基础知识.今天老师简单的一 句话 ...

  7. python安装gz文件_python tar.gz怎么安装-问答-阿里云开发者社区-阿里云

    Windows环境: 安装whl包:pip install wheel -> pip install **.whl 下载whl文件 MySQL_python-1.2.5-cp27-none-wi ...

  8. python开发环境的安装与配置_Python开发环境的安装配置

    要学习Python,我们首先要安装配置好Python的运行环境. 那么安装Python 2 还是 Python 3 呢? 当然是要选择Python 3 .这里来教大家安装稳定版Python3 的版本是 ...

  9. python图形化界面教程_python图形化界面开发教程

    python图形化界面开发教程内容摘要 python图形化界面开发教程白萝卜:泰兴电工教程,白了点,白兰地是在红葡萄酒的基础.基金从业资格教程学校,白开水.苜蓿干草.提摩西干草.兔粮方法:白居易< ...

  10. python量化交易入门教程_Python期货量化交易基础教程(9)

    9.模块.包和文件: 复杂的程序设计,不可能把所有的代码都写在一个文件里,也不可能把所有文件都放在同一个文件夹里. 9.1.模块 : 模块就是以".py"为扩展名的文件,一个文件中 ...

最新文章

  1. 年薪75万的真实技术面试实践攻略(篇章二)
  2. 虚拟多Mac地址工具Multimac
  3. C#之Directory类、DirectoryInfo类和Fileinfo,File以及FilesSystemInfo
  4. 【开源】Caffe、TensorFlow、MXnet三个开源库对比
  5. SAP Spartacus 中的 Commands and queries
  6. UVa10779 - Collectors Problem(最大流)
  7. Java中栈,堆,常量池的简单理解
  8. Codeforces Round #879 (Div. 2) C. Short Program
  9. 水晶报表中图片不显示解决方案
  10. cookie的相关概念及原理
  11. mac android usb驱动 win10,macbook安装Win10后无法创建引导的USB驱动器解决方法
  12. IPtables中SNAT、DNAT和MASQUERADE的含义
  13. cir模型matlab代码,怎么用 CIR模型 进行利率定价
  14. 如何使用node.js后端框架中的egg.js框架
  15. 100%正确率识别票据从金融领域切入挖掘文字识别的巨大价值
  16. 保定计算机软件学院是哪个区,河北软件职业技术学院在哪个区
  17. Echarts 柱状图渐变色设置
  18. 关系数据库语言SQL课后练习题(二)
  19. verilog练习:hdlbits网站上的做题笔记(7)!强烈推荐!
  20. 工程流体力学笔记暂记15(理想流体的运动微分方程)

热门文章

  1. 月日加四位尾数编号生成 VB方式
  2. 10个优秀的JavaScript参考手册
  3. Javascript中eval函数的用法
  4. GRIDVIEW 中当数据行数未满时,填充空白行
  5. centos SSH免密登录
  6. springboot学习总结
  7. JVM监控及诊断工具GUI篇之Arthas(五):其他指令
  8. 基于Docker搭建Gitlab
  9. 【J2EE】在项目中理解J2EE规范
  10. python - break和continue