python scrapy 基本操作演示代码

# -*- coding: utf-8 -*-
import scrapy
# from quotetutorial.items import QuoteItem
from quotetutorial.items import QuotetutorialItem# 主要编辑项目信息基本上都在在这里完成的class QuotesSpider(scrapy.Spider):name = 'quotes'allowed_domains = ['quotes.toscrape.com']start_urls = ['http://quotes.toscrape.com/']# 爬取信息def parse(self, response):# pass# 打印源代码# print(response.text)quotes = response.css('.col-md-8 .quote')for quote in quotes:item = QuotetutorialItem()text = quote.css('.text::text').extract_first()author = quote.css('.author::text').extract_first() # 只提取一个内容 类似于 findonetags = quote.css('.tags .tag::text').extract() # 提多多个内容 类似于 findallitem['text'] = textitem['author'] = authoritem['tags'] = tagsyield itemnext = response.css('.pager .netxt a::attr(href)').extract_first() # 选择下一页url = response.urljoin(next) # 因为获取的地址不完整，获取完整的网址加内容连接地址yield scrapy.Request(url=url,callback=self.parse()) # 从新调用自己并翻页
# 保存文件
# scrapy crawl quotes -o quotes.json
# scrapy crawl quotes -o quotes.jl
# scrapy crawl quotes -o quotes.csv
# scrapy crawl quotes -o quotes.xml
# scrapy crawl quotes -o ftp://user:pass@ftp.example.com/path/quotes.csv

posted on 2018-10-21 12:57 电子灵魂阅读(...) 评论(...) 编辑收藏

转载于:https://www.cnblogs.com/wordgao/p/9824658.html

python scrapy 基本操作演示代码相关推荐

python 喜马拉雅音乐下载演示代码
python 喜马拉雅音乐下载演示代码 1.主程序文件 import os import jsonimport requests from contextlib import closing fr ...
你见过的最全面的Python重点（附代码演示）
原文链接: https://segmentfault.com/a/1190000018737045 这是一份来自于 SegmentFault 上的开发者 @二十一总结的 Python 重点.由于总结 ...
设计模式之外观模式（C# / JavaScript / PHP / Java / Python / C++ 演示代码）
GoF定义:为子系统中的一组接口提供一个一致的界面,Facade模式定义了一个高层接口,这个接口使得这一子系统更加容易使用. 这个模式比较简单. 1.C#演示代码: using System; usi ...
如何用 Python + Scrapy 爬取视频？
今天将带大家简单了解Scrapy爬虫框架,并用一个真实案例来演示代码的编写和爬取过程. 一.scrapy简介 1. 什么是Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框 ...
python scrapy 简单教程_python之scrapy入门教程
看这篇文章的人,我假设你们都已经学会了python(派森),然后下面的知识都是python的扩展(框架). 在这篇入门教程中,我们假定你已经安装了Scrapy.如果你还没有安装,那么请参考安装指南. ...
Python scrapy 实现网页爬虫
Python scrapy 安装和网页爬虫功能实现现在组内有个工作就是维护恶意URL库,然后这个维护工作,主要是通过从几个会发布恶意URL地址的网站获取恶意网址,每次都得花费半天,很乏味的事情.所以 ...
python编程基础与案例集锦,python经典程序实例代码
你都用Python 来做什么? 当我知道可以做这些之后,我特别想会.因为论文查阅.答案确认查询:想知道豆瓣8分以上电影,或者穿越类的电影.处理工资数据考核表等. 可以干什么1.上学吧答案神器主要实现 ...
Python Scrapy爬虫框架实战应用
通过上一节<Python Scrapy爬虫框架详解>的学习,您已经对 Scrapy 框架有了一个初步的认识,比如它的组件构成,配置文件,以及工作流程.本节将通过一个的简单爬虫项目对 Scr ...
搭建python_Crawlab准备之python+scrapy环境搭建
阅读文本大概需要3分钟. 上篇<分布式爬虫管理平台Crawlab开发搭建>把爬虫的管理后台搭建起来了:捣鼓一番发现要真正爬取数据还有下不少的功夫.这篇看看怎么搭建python+scrapy ...

python scrapy 基本操作演示代码

python scrapy 基本操作演示代码相关推荐

最新文章

热门文章