Python3.7 Scrapy安装(Windows)
2019独角兽企业重金招聘Python工程师标准>>>
本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网,直接使用其推荐的Anaconda安装Scrapy即可啦!
自己动手,红红脸颊系列:
Scrapy依赖的库比较多,在安装之前,你需要确保以下库已经安装:wheel、lxml、pyOpenSSL、Twisted、pywin32,如果没有,先装完,再装Scrapy。
安装wheel
用途:
pip安装固然方便,但有时候会遇到安装失败的问题。wheel和egg都是打包的格式,支持不需要编译或制作的安装过程。wheel现在被认为是Python标准的二进制打包格式。
安装命令:
pip install wheel
注意:如果你是刚刚安装过python并且从没有安装过wheel,你可以直接运行上述命令。但如果你的pip版本不够新,你需要在执行install命令之前更新一下pip,在命令行中输入:python -m pip install --upgrade pip更新pip,再输入安装命令即可。
安装lxml
用途:
python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
安装命令:
pip install lxml
安装zope.interface
用途:
python本身不提供interface的实现,需要通过第三方扩展库来使用类似interface的功能,一般都是zope.interface。
注意:不安装zope.interface可能会出现pyOpenSSL安装失败。
安装步骤:
1、进入网址
[https://pypi.org/project/zope.interface/#files]:
下载最新版本.whl文件(cp后跟着的是对应的python版本号),我的python是3.7.2版本,因此下载zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
安装pyOpenSSL
用途:
让python支持SSL通信协议,简单来说就是加密解密等这系列操作。
安装步骤:
1、进入网址
[https://pypi.org/project/pyOpenSSL/#files]:
下载最新版本.whl文件,比如我下载的是pyOpenSSL-18.0.0-py2.py3-none-any.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl
安装Twisted
用途:
此处摘自网络
[https://www.cnblogs.com/misswangxing/p/7712318.html]:
:Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置电池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得非常方便。
安装步骤:
1、进入网址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:
下载最新版本.whl文件,比如我下载的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl
2、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
安装命令:
pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
安装pywin32
用途:
python不自带访问Windows API的库,需要下载这个库做支持。
安装步骤:
1、进入网址(pywin32从Build 222开始把所有的下载放在了github上面,python3.7版本的就从这里下载)
[https://github.com/mhammond/pywin32/releases]:
2、下载pywin32-224.win-amd64-py3.7.exe
安装exe:
双击运行不需要解释,安心系咯。(我是没出现not found in the registry等等问题...咳咳...)
安装Scrapy
安装方式一:
你可以进入地址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:
去下载Scrapy,然后用前面安装.whl文件的方式安装。
安装方式二:
命令:pip install scrapy
搞定收工!YOHO~
使用工具,快速解决系列:Anaconda
其实,你还可以登录Scrapy中文网,使用Anaconda进行安装,这个方式可能更适合初学编程的童鞋。地址如下:
[http://www.scrapyd.cn/doc/124.html]:
表打我... 咳咳...
验证安装是否成功
方法一:
命令行:pip list
列表中出现了Scrapy,安装成功。
方法二:
命令行:scrapy
正确执行命令,安装成功。
转载于:https://my.oschina.net/u/2427564/blog/3000594
Python3.7 Scrapy安装(Windows)相关推荐
- 安装python的twisted_如何在Python3.5上安装 Twisted(为了Scrapy)
很多人安装 Twisted是为了安装Scrapy,因为 Twisted是其依赖的模块.但是目前Twisted 官方包暂不支持 Python 3.x,那么,在 Windows 上使用 Python 3. ...
- python3爬虫(8)爬虫框架scrapy安装和使用
一:scrapy的windows下安装 ① 安装Python3.6,浏览器打开官网,找到适合自己操作系统的版本下载即可,注意Customize installation 为自定义安装路径,不要忘记勾选 ...
- windows7安装python框架_windows7下安装python3的scrapy框架
强大的Anaconda和Spyder.不过如何在这个平台上安装Scrapy呢. 打开MS-DOS(win+R输入cmd回车) 然后输入: conda install -c scrapinghub sc ...
- Python3.X下安装Scrapy (转自鱼c论坛作者lumber2388779)
相信很多同学对于爬虫需要安装Scrapy时候,不想特地去安装2.X版本 我也是这样一个懒人,我从网上找到这篇文章 在Python3.x下安装和测试Scrapy爬网站 根据上边的 教程 可以在我的电脑上 ...
- win10+python3.7下安装scrapy
有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下 一.爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它 ...
- Python3.6+Twisted+Scrapy安装
一.首先检查是否有openssl-devel 这一步是必要的,可能会导致PIP命令报错,安装后需重新编译Python 检查命令:# rpm -aq|grep openssl 安装命令:# yum in ...
- Windows+python3.6+Anaconda安装shogun包
Windows+python3.6+Anaconda安装shogun包 1. 打开anaconda prompt 2. 再进行shogun包的下载,同样是在prompt下进行. 3.注意点 1. 打开 ...
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
python3 [爬虫入门实战]爬虫之scrapy安装与配置教程 标签: python爬虫scrapy 2017-07-08 15:38 77人阅读 评论(0) 收藏 举报 分类: python3爬虫 ...
- win10系统下Python3.9.0安装Scrapy步骤、所遇问题及解决方法
文章目录 安装步骤 所遇问题及解决方法 参考网址 安装步骤 下载python3.9.0,python官网:https://www.python.org,电脑已安装则转步骤2 下载所需模块的.whl文件 ...
最新文章
- monkey测试===ios-monkey测试工具
- 策略模式(Strategy)简介
- NYOJ 888 取石子(九)
- Qt学习(八):QT中TCP传输文件
- 40_pytorch Batch Norm
- 关于js渲染网页时爬取数据的思路和全过程(附源码)
- spring mail 发送html simple,SpringBoot整合Mail邮件发送
- 深度学习资料挑的眼花啦?小夕帮你做选择!
- 解密OpenShift内部通信网络
- 漫步最优化三十六——基本共轭方向法
- js创建对象之原型模式2原型与in操作符
- DevOps on DevCloud|如何构建Kotlin开发的Android Apps
- threejs 绘制球体_Three.js 第一篇:绘制一个静态的3D球体
- php去掉字符串的最后一个字符的方法
- 如何分析竟争网站和优秀网站的设计风格
- 计算机分屏解决方案,一机多屏显示技术解决方案
- PCB布线宽度与 mil与mm转换 等技巧
- 联想服务器装系统鼠标没反应,联想Thinkpad笔记本重装系统后键盘鼠标失灵如何解决...
- 利用java打印心型图案
- 从云到「链」,京东云成为中国第四朵云背后