Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略
Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略
目录
scrapy简介
Scrapy进行安装
Scrapy使用方法
scrapy简介
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
这次我们使用Python3版本进行安装scrapy,如果是其他python2.版本安装请参考链接,Python 2.7安装scrapy指南
Scrapy进行安装
pip install Scrapy
如果安装中出现错误,请根据下边的几个错误,分别进行处理,最后测试成功即可!
1、当安装过程中出现了红色的错误:Failed building wheel for Twisted
然后去这个网址https://www.lfd.uci.edu/~gohlke/pythonlibs/,下载与你python版本,相应的Twisted版本
2、接着安装这个whl文件
3、当安装过程中出现了这个白色错误:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
Command ""f:\program files\python\python36\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\99386\\AppData\\Local\\Temp\\pip-build-w06f16db\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\99386\AppData\Local\Temp\pip-6otgh__e-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\99386\AppData\Local\Temp\pip-build-w06f16db\Twisted\
4、最后测试一下,是否安装成功
哈哈,大功告成!
Scrapy使用方法
更新……
相关文章推荐
Crawler之Scrapy:Python实现scrapy框架爬虫两个网址下载网页内容信息
Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略相关推荐
- Python语言学习:Python常用自带库(imageio、pickle)简介、使用方法之详细攻略
Python语言学习:Python常用自带库(imageio.pickle)简介.使用方法之详细攻略 目录 imageio简介及其常见使用方法 pickle简介及其常见使用方法 简介 使用方法 简介及 ...
- Computer:互联网开放平台项目知识补充之开发-运维-网络-网关等术语(DMZ、负载均衡、F5、Nginx、容器)的简介、使用方法之详细攻略
Computer:互联网开放平台项目知识补充之开发-运维-网络-网关等术语(DMZ.负载均衡.F5.Nginx.容器)的简介.使用方法之详细攻略 目录 DMZ(隔离区)的简介及其使用方法 1.DMZ区 ...
- Python编程语言学习:包导入和模块搜索路径简介、使用方法之详细攻略
Python编程语言学习:包导入和模块搜索路径简介.使用方法之详细攻略 目录 包导入和模块搜索路径简介 1.Pyhon搜索模块路径的机制 2.自定义配置搜索路径
- Python之 sklearn:sklearn.preprocessing中的StandardScaler函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn.preprocessing中的StandardScaler函数的简介及使用方法之详细攻略 目录 sklearn.preprocessing中的Stand ...
- Py之matplotlib.pyplot:matplotlib.pyplot的plt.legend函数的简介、使用方法之详细攻略
Py之matplotlib.pyplot:matplotlib.pyplot的plt.legend函数的简介.使用方法之详细攻略 目录 matplotlib.pyplot的plt.legend函数的简 ...
- Python之 sklearn:sklearn中的train_test_split函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn中的train_test_split函数的简介及使用方法之详细攻略 目录 sklearn中的train_test_split函数的简介 train_tes ...
- Python之 sklearn:sklearn中的RobustScaler 函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn中的RobustScaler 函数的简介及使用方法之详细攻略 目录 sklearn中的RobustScaler 函数的简介及使用方法 sklearn中的R ...
- BigData之Hive beeline:beeline的简介、使用方法之详细攻略
BigData之Hive beeline:beeline的简介.使用方法之详细攻略 目录 beeline的简介 beeline的使用方法 1.命令行参数解释 2.beeline的输出格式 2.1.ta ...
- ML之sklearn:sklearn.linear_mode中的LogisticRegression函数的简介、使用方法之详细攻略
ML之sklearn:sklearn.linear_mode中的LogisticRegression函数的简介.使用方法之详细攻略 目录 sklearn.linear_mode中的LogisticRe ...
- Python:numpy库中的一些函数简介、使用方法之详细攻略
Python:numpy库中的一些函数简介.使用方法之详细攻略 目录 numpy库中的一些函数简介.使用方法 1.np.concatenate() 1.1.函数案例 1.2.函数用法 numpy库中的 ...
最新文章
- 【RxSwift 实践系列 2/3】thinking in Rx- Create和Drive
- 安装Python2.7出现configure: error: no acceptable C compiler found in $PATH错误
- sublime :[Decode error - output not utf-8]
- GDCM:显示GDCM Dict的测试程序
- 【Linux系统编程】线程的基本操作
- ssl1761-城市问题【图论,最短路,Dijkstra】
- 下来安成功 打开一直白屏_推广人透露:戈洛夫金2021年可能与安德拉德上演拳王统一战...
- Python电话本系统(添加、修改、删除、查询)
- 使用android开发移动学习平台_移动学习平台有几种开发方法,你造吗?
- python将数据变成float32,Python:将numpy默认为float32
- 玩转spring boot——国际化
- windows上搭建NFS服务器--haneWIN
- 【基金学习】小白基金学习记录-从入门到实践(一)
- element-ui校验表单只能输入数字
- 微信小程序开发———音乐播放器
- Noise aware learning for speech enhancement
- 我总结的30条架构原则~
- linux pppd源码下载_LINUX下的拨号利器:wvdial和pppd —— 转载
- 百度阿里网易大疆等大小厂前端校招面筋
- 大智慧F10离线文件下载—大智慧V5.997下载