Scrapy的简介和安装
Scrapy简介
scrapy是一个快速(fast)、高层次(high-level)的web爬虫构架。用来下载、并解析web页面,
安装环境
Ubuntu 12.04
安装步骤
安装前的准备
在安装前先打以下的命令,确保以下的软件有安装
sudo apt-get install gcc g++ gdb python-dev python make
安装lxml
lxml是一个高效的、用于操作xml的库
sudo apt-get install python-lxml
安装pip
pip是python的包管理系统
sudo apt-get install python-pip
安装ipython
ipython是python的一个交互界面。相对默认的python shell,ipython运行变量的自动补全、自动缩进等功能
sudo apt-get install ipython
安装scrapy
sudo pip install scrapy
这一步可能比较慢,大家耐心等待吧!!!
测试安装是否成功
如果安装完后打scrapy version 没有问题的话,就安装成功了
大家可以打scrapy shell "http://www.csdn.net" ,之类的命令先玩一下scrapy
后记
我在安装的时候出现下列问题
twisted/runner/portmap.c:10:20: fatal error: Python.h: No such file or directorycompilation terminated.error: command 'gcc' failed with exit status 1
就是没发现头文件python.h(Ubuntu经常出现没有发现头文件的问题),只要安装python-dev就解决问题了.
还有很有朋友可能会说我apt-get 就可以直接安装scrapy,没必要这样麻烦。不过,官方是说apt得到的scrapy版本比较旧,基本不能用
最后附上官方文档的链接
转载请注明出处--nothi
Scrapy的简介和安装相关推荐
- Crawler之Scrapy:Scrapy的简介、安装、使用方法之详细攻略
Crawler之Scrapy:Scrapy的简介.安装.使用方法之详细攻略 目录 Scrapy的简介 Scrapy的安装 1.成功解决Failed building wheel for Twisted ...
- Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略
Crawler之Scrapy:Scrapy简介.安装.使用方法之详细攻略 目录 scrapy简介 Scrapy进行安装 Scrapy使用方法 scrapy简介 Scrapy是Python开发的一个快速 ...
- Python爬虫——Scrapy 简介和安装
文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...
- Crawler:关于爬虫的简介、安装、使用方法之详细攻略
Crawler:关于爬虫的简介.安装.使用方法之详细攻略 目录 爬虫简介 爬虫过程思路 关于Python实现爬虫的一些包 1.requests 2.beautifulsoup 3.scrapy 关于爬 ...
- 爬虫基础(五)-----scrapy框架简介
---------------------------------------------------摆脱穷人思维 <五> :拓展自己的视野,适当做一些眼前''无用''的事情,防止进入只关 ...
- 2021年大数据ELK(二十一):Logstash简介和安装
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Logstash简介和安装 一.简介 1.经典架构 2.对比Flume 3.对 ...
- 爬虫基础分享Scrapy框架流程图与安装
从头开发一个爬虫程序是一项烦琐的工作,为了避免因制造轮子而消耗大量时间,在实际应用中我们可以选择使用一些优秀的爬虫框架,使用框架可以降低开发成本,提高程序质量,让我们能够专注于业务逻辑.所以,我们一起 ...
- 扩增子分析QIIME2(2018.6). 1简介和安装
扩增子分析QIIME2. 1简介和安装 QIIME2版本 2018.6 简介 优点 学习思路 什么是QIIME 2? 核心概念 安装 原生安装QIIME2 虚拟机安装 使用VirtualBox方式安装 ...
- db2top详细使用方法_Py之PIL:Python的PIL库的简介、安装、使用方法详细攻略
Py之PIL:Python的PIL库的简介.安装.使用方法详细攻略 目录 PIL库的简介 PIL库的安装 PIL库的用方法 1.几何图形的绘制与文字的绘制 2.绘制图形的各种案例 PIL库的简介 PI ...
最新文章
- LaTeX技巧如何拆分源文件并且分别编译
- wxWidgets:wxWizardEvent类用法
- ubuntu的codelite中代码运行后出现/usr/bin/codelite_exec: 22: /usr/bin/codelite_exec
- Zookeeper实践与应用- Canal
- 快速排序算法思想及实现
- Java 7:在不丢失数据的情况下关闭NIO.2文件通道
- 简述C++程序编写的过程
- 手机APP移动应用开发
- Linux Shell 流程控制语句实例
- Navicat Premium 12.0.29 / 12.1.5.0注册机激活
- 四叉树——图片应用实例
- xbox手柄测试_【喂你播】苹果官网上架Xbox无线手柄,那么未来会有果牌手柄吗?...
- HDLBits在线练习题之Exams/ece241 2014 q7b
- JZOJ4722. 【NOIP2016提高A组模拟8.21】跳楼机
- 高并发解决方案-mysql篇
- VS2019字符编码设置
- 常用IP相关命令查询
- java 中常见日期格式的设置
- (12)代码概述(旋翼)
- 不用软件直接查询QQ好友的IP地址