2019独角兽企业重金招聘Python工程师标准>>>

本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网,直接使用其推荐的Anaconda安装Scrapy即可啦!

自己动手,红红脸颊系列:

Scrapy依赖的库比较多,在安装之前,你需要确保以下库已经安装:wheel、lxml、pyOpenSSL、Twisted、pywin32,如果没有,先装完,再装Scrapy。

安装wheel

用途:

pip安装固然方便,但有时候会遇到安装失败的问题。wheel和egg都是打包的格式,支持不需要编译或制作的安装过程。wheel现在被认为是Python标准的二进制打包格式。

安装命令:

pip install wheel

注意:如果你是刚刚安装过python并且从没有安装过wheel,你可以直接运行上述命令。但如果你的pip版本不够新,你需要在执行install命令之前更新一下pip,在命令行中输入:python -m pip install --upgrade pip更新pip,再输入安装命令即可。

安装lxml

用途:

python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。

安装命令:

pip install lxml

安装zope.interface

用途:

python本身不提供interface的实现,需要通过第三方扩展库来使用类似interface的功能,一般都是zope.interface。

注意:不安装zope.interface可能会出现pyOpenSSL安装失败。

安装步骤:

1、进入网址

[https://pypi.org/project/zope.interface/#files]:

下载最新版本.whl文件(cp后跟着的是对应的python版本号),我的python是3.7.2版本,因此下载zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

安装pyOpenSSL

用途:

让python支持SSL通信协议,简单来说就是加密解密等这系列操作。

安装步骤:

1、进入网址

[https://pypi.org/project/pyOpenSSL/#files]:

下载最新版本.whl文件,比如我下载的是pyOpenSSL-18.0.0-py2.py3-none-any.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl

安装Twisted

用途:

此处摘自网络

[https://www.cnblogs.com/misswangxing/p/7712318.html]:

:Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置电池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得非常方便。

安装步骤:

1、进入网址

[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:

下载最新版本.whl文件,比如我下载的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl

2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。

安装命令:

pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl

安装pywin32

用途:

python不自带访问Windows API的库,需要下载这个库做支持。

安装步骤:

1、进入网址(pywin32从Build 222开始把所有的下载放在了github上面,python3.7版本的就从这里下载)

[https://github.com/mhammond/pywin32/releases]:

2、下载pywin32-224.win-amd64-py3.7.exe

安装exe:

双击运行不需要解释,安心系咯。(我是没出现not found in the registry等等问题...咳咳...)

安装Scrapy

安装方式一:

你可以进入地址

[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:

去下载Scrapy,然后用前面安装.whl文件的方式安装。

安装方式二:

命令:pip install scrapy

搞定收工!YOHO~

使用工具,快速解决系列:Anaconda

其实,你还可以登录Scrapy中文网,使用Anaconda进行安装,这个方式可能更适合初学编程的童鞋。地址如下:

[http://www.scrapyd.cn/doc/124.html]:

表打我... 咳咳...

验证安装是否成功

方法一:

命令行:pip list

列表中出现了Scrapy,安装成功。

方法二:

命令行:scrapy

正确执行命令,安装成功。

转载于:https://my.oschina.net/u/2427564/blog/3000594

Python3.7 Scrapy安装(Windows)相关推荐

  1. 安装python的twisted_如何在Python3.5上安装 Twisted(为了Scrapy)

    很多人安装 Twisted是为了安装Scrapy,因为 Twisted是其依赖的模块.但是目前Twisted 官方包暂不支持 Python 3.x,那么,在 Windows 上使用 Python 3. ...

  2. python3爬虫(8)爬虫框架scrapy安装和使用

    一:scrapy的windows下安装 ① 安装Python3.6,浏览器打开官网,找到适合自己操作系统的版本下载即可,注意Customize installation 为自定义安装路径,不要忘记勾选 ...

  3. windows7安装python框架_windows7下安装python3的scrapy框架

    强大的Anaconda和Spyder.不过如何在这个平台上安装Scrapy呢. 打开MS-DOS(win+R输入cmd回车) 然后输入: conda install -c scrapinghub sc ...

  4. Python3.X下安装Scrapy (转自鱼c论坛作者lumber2388779)

    相信很多同学对于爬虫需要安装Scrapy时候,不想特地去安装2.X版本 我也是这样一个懒人,我从网上找到这篇文章 在Python3.x下安装和测试Scrapy爬网站 根据上边的 教程 可以在我的电脑上 ...

  5. win10+python3.7下安装scrapy

    有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下 一.爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它 ...

  6. Python3.6+Twisted+Scrapy安装

    一.首先检查是否有openssl-devel 这一步是必要的,可能会导致PIP命令报错,安装后需重新编译Python 检查命令:# rpm -aq|grep openssl 安装命令:# yum in ...

  7. Windows+python3.6+Anaconda安装shogun包

    Windows+python3.6+Anaconda安装shogun包 1. 打开anaconda prompt 2. 再进行shogun包的下载,同样是在prompt下进行. 3.注意点 1. 打开 ...

  8. python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

    python3 [爬虫入门实战]爬虫之scrapy安装与配置教程 标签: python爬虫scrapy 2017-07-08 15:38 77人阅读 评论(0) 收藏 举报 分类: python3爬虫 ...

  9. win10系统下Python3.9.0安装Scrapy步骤、所遇问题及解决方法

    文章目录 安装步骤 所遇问题及解决方法 参考网址 安装步骤 下载python3.9.0,python官网:https://www.python.org,电脑已安装则转步骤2 下载所需模块的.whl文件 ...

最新文章

  1. monkey测试===ios-monkey测试工具
  2. 策略模式(Strategy)简介
  3. NYOJ 888 取石子(九)
  4. Qt学习(八):QT中TCP传输文件
  5. 40_pytorch Batch Norm
  6. 关于js渲染网页时爬取数据的思路和全过程(附源码)
  7. spring mail 发送html simple,SpringBoot整合Mail邮件发送
  8. 深度学习资料挑的眼花啦?小夕帮你做选择!
  9. 解密OpenShift内部通信网络
  10. 漫步最优化三十六——基本共轭方向法
  11. js创建对象之原型模式2原型与in操作符
  12. DevOps on DevCloud|如何构建Kotlin开发的Android Apps
  13. threejs 绘制球体_Three.js 第一篇:绘制一个静态的3D球体
  14. php去掉字符串的最后一个字符的方法
  15. 如何分析竟争网站和优秀网站的设计风格
  16. 计算机分屏解决方案,一机多屏显示技术解决方案
  17. PCB布线宽度与 mil与mm转换 等技巧
  18. 联想服务器装系统鼠标没反应,联想Thinkpad笔记本重装系统后键盘鼠标失灵如何解决...
  19. 利用java打印心型图案
  20. 从云到「链」,京东云成为中国第四朵云背后

热门文章

  1. 100万并发连接服务器笔记之测试端就绪
  2. Python字符串的encode与decode 解决乱码问题
  3. curl命令使用介绍
  4. docker 搭建 ftp服务器
  5. 【线性代数】2-5:逆(Inverse)
  6. linux 搭建testlink的问题总结
  7. 使用 Composer 为 ThinkPHP(3.2.3)框架添加和管理组件
  8. 打包jar文件 外部调用资源 so等
  9. JavaEE实战班第二天
  10. 关于Python爬虫,一条高效的学习路径