python如何安装scrapy_Python爬虫之Scrapy的安装

一.Scrapy的介绍

Scrapy是用Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。它有个萌出血的外号叫小抓抓。

下面主要介绍下Scrapy的安装步骤以及遇到的一些坑。

二，安装步骤

首先安装蟒蛇包工具点子，它相当于iOS的开发中的的CocoaPods。

1. $ sudo easy_install pip

安装成功后执行下面命令

2. $ sudo pip安装Scrapy

DEPRECATION: Uninstalling a distutils installed project (six) has been deprecatedandwill be removedina future version. Thisisdue to the fact that uninstalling a distutils project will only partially uninstall the project.Uninstalling six-1.4.1:Exception:Traceback (most recent call last):File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/basecommand.py", line215,inmainstatus = self.run(options, args)File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/commands/install.py", line342,inrunprefix=options.prefix_path,File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_set.py", line778,ininstallrequirement.uninstall(auto_confirm=True)File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_install.py", line754,inuninstallpaths_to_remove.remove(auto_confirm)File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/req/req_uninstall.py", line115,inremoverenames(path, new_path)File"/Library/Python/2.7/site-packages/pip-9.0.1-py2.7.egg/pip/utils/__init__.py", line267,inrenamesshutil.move(old, new)File"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line302,inmovecopy2(src, real_dst)File"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line131,incopy2copystat(src, dst)File"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line103,incopystatos.chflags(dst, st.st_flags)OSError: [Errno1] Operationnotpermitted:'/tmp/pip-QfQY7O-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

安装提示Mac自带的python 2.7版本有误，所以我们需要重新安装python

3. $ brew安装python

(如果此前没有安装过brew，请先安装，命令行如下)

$ ruby -e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

python安装成功后提示：

==> **Summary**

python如何安装scrapy_Python爬虫之Scrapy的安装相关推荐

mac python3.8怎样安装scrapy_Python爬虫与mac下Scrapy配置
用Python开发爬虫很方便. 本质:抓取---分析---存储要点: (1)get请求:最基本抓取.用到 urllib urllib2 requests httplib2 . (2)表单登陆: ...
python spider 安装_Python爬虫(11):Scrapy框架的安装和基本使用
大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy.Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装. Scrapy的安装 Scrapy的安装是很麻烦的,对于一 ...
Python 爬虫6——Scrapy的安装和使用
前面我们简述了使用Python自带的urllib和urllib2库完成的一下爬取网页数据的操作,但其实能完成的功能都很简单,假如要进行复制的数据匹配和高效的操作,可以引入第三方的框架,例如Scrapy ...
scrapy安装_爬虫框架Scrapy简介与安装
Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据.提取结构性数据而编写的应用框架,用途非常广泛. 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页 ...
安装爬虫框架Scrapy，安装后运行不了~
学习爬虫,搭建Scrapy框架由于用命令行安装scrapy,一直运行不了,导入很多环境依赖都不行建议安装Anaconda后,用Anaconda prompt安装scrapy,自动配置一些环境. 因 ...
【Python爬虫】Scrapy 下载安装
文章目录一.安装下载 Scrapy 并创建项目 1.下载 Scrapy 2.创建 Scrapy 项目 3.基础配置 4.测试 Scrapy 框架准备环境 pycharm(社区版即可) python ...
Python:爬虫框架Scrapy的安装与基本使用
一.简单实例,了解基本. 1.安装Scrapy框架这里如果直接pip3 install scrapy可能会出错. 所以你可以先安装lxml:pip3 install lxml(已安装请忽略). 安装 ...
python学习笔记之爬虫框架scrapy(十七)
一.安装执行以下命令安装scrapy pip install scrapy 注意: Scrapy是用纯Python编写的,并且依赖于一些关键的Python包(以及其他一些包): lxml,高效的XM ...
python爬虫的scrapy安装+pymongo的安装
我的:python2.7版本 32位注意scrapy只支持2.7及以上的版本. 1.安装python 2.安装pip 安装pip就不赘述了,网上很多教学 pip安装时要注意更新,如果pip版本 ...

python如何安装scrapy_Python爬虫之Scrapy的安装

python如何安装scrapy_Python爬虫之Scrapy的安装相关推荐

最新文章

热门文章