Scrapy(爬虫)中文手册
https://docs.pythontab.com/scrapy/scrapy0.24/intro/install.html
安装指南
安装Scrapy
注解
请先阅读 平台安装指南.
下列的安装步骤假定您已经安装好下列程序:
- Python 2.7
- Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools 。
- lxml. 大多数Linux发行版自带了lxml。如果缺失,请查看http://lxml.de/installation.html
- OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
使用pip安装:
pip install Scrapy
平台安装指南
Windows
从 http://python.org/download/ 上安装Python 2.7.
您需要修改
PATH
环境变量,将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到PATH
中:C:\Python2.7\;C:\Python2.7\Scripts\;
请打开命令行,并且运行以下命令来修改
PATH
:c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
关闭并重新打开命令行窗口,使之生效。运行接下来的命令来确认其输出所期望的Python版本:
python --version
从 https://pip.pypa.io/en/latest/installing.html 安装 pip
打开命令行窗口,确认
pip
被正确安装:pip --version
到目前为止Python 2.7 及
pip
已经可以正确运行了。接下来安装Scrapy:pip install Scrapy
Ubuntu 9.10及以上版本
不要 使用Ubuntu提供的 python-scrapy
,相较于最新版的Scrapy,该包版本太旧,并且运行速度也较为缓慢。
您可以使用官方提供的 Ubuntu Packages 。该包解决了全部依赖问题,并且与最新的bug修复保持持续更新。
Archlinux
您可以依照通用的方式或者从 AUR Scrapy package 来安装Scrapy:
yaourt -S scrapy
扫码关注,获取更多内容
Scrapy(爬虫)中文手册相关推荐
- Python Scrapy爬虫中文乱码问题“鎴愬姛”及用chardet解决乱码问题
在爬取某个网站时,爬取第一个页面能正常获取,爬取第二个页面,获取文章内容时,返回的数据为中文乱码,乱码如下: {"rptCode":200,"msg":&quo ...
- Scrapy爬虫之中文乱码问题
问题描述: I. #这是.csv格式的文件,有中文乱码现象.[root@Uu jianshu]# cat jianshu.csv url,title,author http://www.jianshu ...
- Scrapy框架知识手册 - 从零到一
Scrapy框架知识手册 - 从零到一 一.初识Scrapy 1.Scrapy简介 2.网络爬虫原理 3.网络爬虫的基本流程 二.Scrapy安装与创建 1.安装 2.查看命令 3.主要命令 三.Sc ...
- 基于python的scrapy爬虫抓取京东商品信息
这是上的第二节爬虫课程的课后作业:抓取京东某类商品的信息,这里我选择了手机品类. 使用scrapy爬虫框架,需要编写和设置的文件主要有phone.py , pipelines.py , items.p ...
- scrapy爬虫储存到mysql_详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
获取要爬取的URL 爬虫前期工作 用Pycharm打开项目开始写爬虫文件 字段文件items # Define here the models for your scraped items # # S ...
- Python 网络爬虫笔记9 -- Scrapy爬虫框架
Python 网络爬虫笔记9 – Scrapy爬虫框架 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
- 【数据分析】干货!一文教会你 Scrapy 爬虫框架的基本使用
出品:Python数据之道 (ID:PyDataLab) 作者:叶庭云 编辑:Lemon 一.scrapy 爬虫框架介绍 在编写爬虫的时候,如果我们使用 requests.aiohttp 等库,需要从 ...
- 一、scrapy爬虫框架——概念作用和工作流程 scrapy的入门使用
scrapy的概念和流程 学习目标: 了解 scrapy的概念 了解 scrapy框架的作用 掌握 scrapy框架的运行流程 掌握 scrapy中每个模块的作用 1. scrapy的概念 Scrap ...
- Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
Scrapy爬虫,请先准备好Scrapy的环境 获取要爬取的URL 爬虫前期工作 用Pycharm打开项目开始写爬虫文件 启动爬虫 获取要爬取的URL 爬虫前期工作 用Pycharm打开项目开始写爬虫 ...
- --scrapy爬虫--
命令行中建立scrapy工程: scrapy startproject [工程名] 爬虫文件: 在spider目录下新建一个python文件并写入以下内容 import scrapyclass ...
最新文章
- 团队开发经验:如何带领一个项目团队并做好项目总结 !!
- 通过rsync实现数据备份
- 一步一步实现自己的模拟控件(5)——隐藏类
- Wing IDE 4.1破解教程
- 机器学习术语_机器学习术语神秘化。
- MySQL基础部分总结
- h命令可以获取mysql客户端的帮助信息_如何获取MySQL帮助信息
- 基因组浏览器使用 (EPGG)
- 支持XML和JSON数据的图表控件FusionCharts XT
- 泥瓦匠 5 年 Java 的成长感悟(下)
- 1、pthon中类包含的方法
- 阶段3 3.SpringMVC·_07.SSM整合案例_09.ssm整合之Spring整合MyBatis框架配置事务
- Reading query string values in JavaScript
- 独立游戏佳作分享-001(FEZ、Braid、Super Meat Boy)
- IntelliJ IDEA主题修改
- 在线旅游网站技术讲解
- 软件开发专业主要有哪些课程?
- 地质地貌卫星影像集锦(一 典型地貌篇)
- 高德地图WEB端,在所画的圆(Circle)内显示在圆(Marker)内的点
- 《老梁四大名著情商课》笔记- 拒绝是战术,不是艺术