scrapy 命令行基本用法

1.创建一个新项目：

scrapy startproject myproject

2.在新项目中创建一个新的spider文件：

scrapy genspider mydomain mydomain.com

mydomain为spider文件名，mydomain.com为爬取网站域名

3.全局命令：

startproject
genspider
settings
runspider
shell
fetch
view
version

4.只在项目中使用的命令（局部命令）：

crawl
check
list
edit
parse
bench

5.运行spider文件：

scrapy crawl <spider>

5.1 运行spider文件不显示日志

scrapy crawl <spider> --nolog

6.检查spider文件有无语法错误：

scrapy check

7.列出spider路径下的spider文件：

scrapy list

8.编辑spider文件：

scrapy edit <spider>

相当于打开vim模式，实际并不好用，在IDE中编辑更为合适。

9.将网页内容下载下来，然后在终端打印当前返回的内容，相当于 request 和 urllib 方法：

scrapy fetch <url>

10.将网页内容保存下来，并在浏览器中打开当前网页内容，直观呈现要爬取网页的内容:　

scrapy view <url>

11.打开 scrapy 显示台，类似ipython，可以用来做测试：

scrapy shell [url]

12.输出格式化内容：

scrapy parse <url> [options]

13.返回系统设置信息：

scrapy settings [options]

如：

$ scrapy settings --get BOT_NAME
scrapybot

14.运行spider：

scrapy runspider <spider_file.py>

15.显示scrapy版本：

scrapy version [-v]

后面加 -v 可以显示scrapy依赖库的版本

16.测试电脑当前爬取速度性能：

scrapy bench

转载于:https://www.cnblogs.com/tangkaishou/p/10264146.html

scrapy 命令行基本用法相关推荐

ffmpeg介绍与命令行基本用法
ffmpeg主要组成部分 1.libavformat:用于各种音视频封装格式的生成和解析,包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能,包含解复用器(demuxers)和复用器(mux ...
scrapy命令明细：全局命令
接下来我们来一一介绍scrapy命令有哪些,其实灰常少,也就十四五个,在这十四五个中,常用的就纳么两三个而已,如: scrapy startproject(创建项目). scrapy crawl XX ...
linux服务器中学习使用FFmpeg命令overlay滤镜用法
linux服务器中学习使用FFmpeg命令overlay滤镜用法 1.overlay技术简介 2.命令行用法 2.1 视频中叠加图标 2.1.1 直接叠加图标 2.1.2 延时叠加图标 2.2 视频中 ...
Windump网络命令的简单用法
Windump网络命令的简单用法大家都知道,unix系统下有个tcpdump的抓包工具,非常好用,是做troubleshooting的好帮手.其实在windows下也有一个类似的工作,叫windum ...
Python -- Scrapy 命令行工具（command line tools）
结合scrapy 官方文档,进行学习,并整理了部分自己学习实践的内容 Scrapy是通过 scrapy 命令行工具进行控制的. 这里我们称之为 "Scrapy tool" 以用来和 ...
linux mount命令参数及用法详解
linux mount命令参数及用法详解非原创,主要来自 http://www.360doc.com/content/13/0608/14/12600778_291501907.shtml. htt ...
linux useradd(adduser)命令参数及用法详解(linux创建新用户命令)
linux useradd(adduser)命令参数及用法详解(linux创建新用户命令) useradd可用来建立用户帐号.帐号建好之后,再用passwd设定帐号的密码．而可用userdel删除帐号 ...
linux+历史命令',Linux历史命令管理以及用法
# **history命令管理及用法总结** **命令历史:**shell进程会在其会话中保存此前用户提交执行过的命令,可以用它来重复执行命令:包括关机之前的指令 ~]# history 示例 ![] ...
linux popd 命令,在Linux系统中的Pushd命令与Popd命令，教你这两个命令的基本用法...
在本文中,我们将向你展示如何使用pushd命令与popd命令浏览系统的目录树,教你这两个命令的基本用法.push与popd是允许你使用目录堆栈并在Linux和其他类似Unix的操作系统中更改当前工作目 ...

scrapy 命令行基本用法

scrapy 命令行基本用法相关推荐

最新文章

热门文章