scrapy tool 命令

两种类型的命令，全局命令和工程命令；工程命令只能进入工程文件夹中执行；全局命令在工程文件夹外执行

全局命令：

startproject 创建项目 scrapy startproject projectname

genspider 创建爬虫

settings：获取设置值；如：scrapy settings --get BOT_NAME

runspider：运行爬虫；如：scrapy runspider <spider_file.py>

shell 启动scrapy shell

fetch: scrapy fetch <url>

view: scrapy view <url> 在浏览器中打开指定的网页

version 查看版本

工程命令：

crawl 执行一个爬虫;scrapy crawl spider_name

check

list 列出当前工程所有有效的spider

edit：scrapy edit first_scrpy

parse：scrapy parse <url> [options]

bench

编写第一个 spider

文件名: firstspider.py

import scrapyclass Firstspider(scrapy.Spider):name = "quotes"start_urls = ['http://quotes.toscrape.com/tag/humor/',]def parse(self, response):for quote in response.css('div.quote'):yield {'text': quote.css('span.text::text').extract_first(),'author': quote.xpath('span/small/text()').extract_first(),}next_page = response.css('li.next a::attr("href")').extract_first()if next_page is not None:yield response.follow(next_page, self.parse)

在anaconda promt 中执行下面的命令，会看到生成一个json 文件:

scrapy runspider firstspider.py -o quotes.json

scrapy tool 命令相关推荐

python常用命令汇总-Python爬虫框架Scrapy常用命令总结
本文实例讲述了Python爬虫框架Scrapy常用命令.分享给大家供大家参考,具体如下: 在Scrapy中,工具命令分为两种,一种为全局命令,一种为项目命令. 全局命令不需要依靠Scrapy项目就可以 ...
同时运行多个scrapy爬虫的几种方法（自定义scrapy项目命令）
试想一下,前面做的实验和例子都只有一个spider.然而,现实的开发的爬虫肯定不止一个.既然这样,那么就会有如下几个问题:1.在同一个项目中怎么创建多个爬虫的呢?2.多个爬虫的时候是怎么将他们运行起来 ...
scrapy在命令行指定要采集的url
class MySpider(BaseSpider): # http://www.sharejs.com name = 'my_spider' def __init__(self, *args, ** ...
python安装scrapy框架命令_python爬虫中scrapy框架是否安装成功及简单创建
判断框架是否安装成功,在新建的爬虫文件夹下打开盘符中框输入cmd,在命令中输入scrapy,若显示如下图所示,则说明成功安装爬虫框架: 查看当前版本:在刚刚打开的命令框内输入scrapy versio ...
Scrapy相关命令
2019独角兽企业重金招聘Python工程师标准>>> 使用方法: python.scrapy和pycharm已经安装好,并且python和scrapy环境已经配置好.scrapy安 ...
scrapy常用命令
创建项目 D:\tmp\scrapy>scrapy startproject testproject New Scrapy project 'testproject', using templa ...
创建scrapy框架命令
首先在创建scrapy框架需要输入scrapy startproject 项目名称代码: scrapy startproject scrapybaidu 图例: cd进入scrapy框架文件夹中生成 ...
Python -- Scrapy 命令行工具（command line tools）
结合scrapy 官方文档,进行学习,并整理了部分自己学习实践的内容 Scrapy是通过 scrapy 命令行工具进行控制的. 这里我们称之为 "Scrapy tool" 以用来和 ...
Python之Scrapy爬虫的常用命令
Scrapy爬虫的常用命令: Scrapy命令行是为持续运行设计的专业爬虫框架. 常用的Scrapy,命令有三个: startproject genspider crawl Scrapy为什么采用命令 ...

scrapy tool 命令

scrapy tool 命令相关推荐

最新文章

热门文章