windows下安装python+scrapy

  • 赞  |   0收藏  |  0
  • 1.5k 次浏览

最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:

1、python的安装

进入python的官网https://www.python.org/,点击downloads选项进入下载页,如图:

根据自己的机型,选择下载对应的安装包,我下载的是python 3.5.3版本的:

选定下载位置,傻瓜式一键安装即可。实际上,32位和64位的版本安装起来没有区别,双击打开后,第一步要记得勾上add python to Path 选项,这样的好处是自动配置环境变量

可在命令提示符中用命令python --version,验证安装是否成功:

到此,python已经安装好了!!!是不是hin简单~接下来安装scrapy吧^-^


2、scrapy的安装

先安装pywin32,进入https://sourceforge.net/proje...,下载与已安装python版本对应的pywin64安装包,例如python3.4 64位对应的安装包为pywin32-218.win-amd64-py3.4.exe,下载完成后一直next安装,依然是傻瓜式安装法

检查安装结果,在python命令行输入import win32api,如果没有报错说明安装完成,如果报错说明PYTHONPATH环境变量没有配置

配置PYTHONPATH环境变量,将python安装目录下lib目录中的site-packages路径添加到PYTHONPATH环境变量,再次检验安装结果

安装Twisted,进入http://www.lfd.uci.edu/~gohlk...下载对应twisted和lxml

打开命令提示符窗口,输入命令:
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径),盗一下别人的图


再输入命令:pip --version,检查安装是否成功

3、pip的安装,估计因为我安装的版本自动配置环境变量,所以我好像没有下载pip,就可以用pip命令

如图:

但是,如果安装pip的话,同样要去python的官网下载,下载地址是https://pypi.python.org/pypi/... ,选择相应版本下载,下载完成之后,解压到文件夹。在该文件夹的目录下使用控制台命令:输入python setup.py install;并添加入环境变量。


好啦!一切准备工作就绪,现在开始安装scrapy~

twisted库安装成功后,安装scrapy就简单了,在命令提示符窗口直接输入命令: pip install scrapy 回车

现在一切都搞定了,可以新建一个Scrapy测试,敲一个基于Scrapy框架的爬虫程序咯。

心得:Windows下的安装过程还是很麻烦的,因为有很多依赖要添加,不过在各方查找资料以后仿佛就不是那么难了!一步一步在cmd中运行测试,还要看错误提示,少哪一个依赖就下载哪一个安装哪一个!环境框架已经搭好,接下来就是学习如何写爬虫程序了。
再贴两个链接吧:
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...

windows下安装python+scrapy相关推荐

  1. windows下安装python scrapy爬虫环境

    windows下安装python scrapy爬虫环境 安装python 根据你的需求下载python安装包,安装python(本文基于python27)https://www.python.org/ ...

  2. Windows下安装python步骤

    Windows下安装python步骤分为以下三步: 下载python 安装python 检查是否安装成功 一.下载python python下载地址Download Python | Python.o ...

  3. 最详细的Windows下安装Python和pycharm破解教程,不会电脑的都能安装成功!

    辅助视频教程:Python基础教程|xin3721自学网ul li id=itemtitlePython3 从入门到精通视频教程/li /ul ul li class=description Pyth ...

  4. python怎么安装scrapy_windows下安装python+scrapy

    最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具.python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情.言归正传,说下我从昨天下 ...

  5. 在windows下安装python包管理器pip及使用

      从来没有在Windows下用过pip,今天试了下,原来pip也可以在Windows下安装,使用也和Linux下一样简单. 先从下面的地址下载pip源码: http://pypi.python.or ...

  6. Windows下安装Python扩展模块提示“Unable to find vcvarsall.bat”的问题(转载)

    Unable to find vcvarsall.bat的问题描述 问题分析 总结 提示: 如果你只是想知道自己需要安装哪个版本的Visual Studio请直接查看本文最后一个小节的内容. 一.问题 ...

  7. Windows下安装Python pyramid,并运行一个pyramid的Helloworld项目

    本教程是在Windows10平台下安装,其它平台下的可参考官方文档 1 确保安装包达到安装pyramid的要求: 在dos输入如下命令,检查是否达到安装要求: 确保python可以运行:py --ve ...

  8. windows下安装python的i18n_python国际化(i18n)和中英文切换

    [1.到Flex SDK3.2的bin下运行命令:copylocale en_US zh_HK 2.在flex project下创建一个文件夹locale(与src同目录),在locale下分别创建e ...

  9. windows下安装python+eclipse

    PART I(下载安装包): 1.下载最新版的Eclipse标准包: http://www.eclipse.org/downloads/ 根据你的操作系统,选择对应版本的eclipse-jee-mar ...

最新文章

  1. oracle12c spa,Oracle12c功能加强 新特性之管理功能的加强
  2. 16.C++中的this指针
  3. java并行体系结构
  4. XPath概述 及 dom4j支持xpath的操作
  5. Providers in SAP Spartacus
  6. 漫画:为什么下载电影进度总是卡在 99% 就不动了?
  7. 用户节点cdn有什么用处
  8. 网易常用镜像及使用方式
  9. 超图(Hypergraph)概念理解
  10. gridviewnbsp;enableviewstate
  11. TUIO协议 (转)
  12. 删除卸载企业微信后的残留文件
  13. Paul Graham:如何做好天使投资
  14. 2020蚂蚁森林自动收能量-保持更新
  15. XP IIS5.1安装文件
  16. MindManager教你做一份完美的笔记
  17. 西宁-青海--茶卡盐湖-敦煌自由行攻略
  18. 【100%通过率】华为OD机试真题 Python 实现【最接近最大输出功率的设备 /查找充电设备组合】
  19. 计算机组成原理知识架构
  20. svn服务器搭建(一) VisualSVN-Server

热门文章

  1. 嵌入式硬件入门——LED数码管(工作原理+静态驱动)
  2. spring cloud+vue
  3. 南科大本科生在《物理评论快报》发文,实现由不定因果序驱动的量子冰箱
  4. Over 函数的使用
  5. Flutter GridView详解
  6. springBoot+AOP收集日志信息,自定义接口实现日志收集
  7. [canvas]空战游戏1.18
  8. oracle清理死锁,在线等!1亿数据量大表delete操作死锁,紧急求助!
  9. 搭建自己的网站(入门到入狱)
  10. (转)我们能找到自己所想要的老婆吗?