scrapy多个url爬虫

在上一篇文章中讲述了scrapy爬虫的基本步骤，但是只可爬取strat_url的数据，https://blog.csdn.net/reset2021/article/details/124449231?spm=1001.2014.3001.5502

这里继续讲述一下多个url的爬虫流程

这次以同花顺行情数据url为讲解对象，主要爬取最新的行情数据。

1）新建项目

scrapy startproject tonghuashun

2) 新建爬虫

scrapy genspider quote_data q.10jqka.com.cn

此时的start_urls如下所示。

start_urls = ['http://q.10jqka.com.cn/']

首先需要解析该网页的行情数据的总页面。

    def parse(self,response):print(self.pageNum)if self.pageNum == 0:num_info = response.xpath("//*[@id='m-page']/span/text()").extract()self.total_number = int(num_info[0].split('/')[-1])else:items = []

3）增加具体的url

    url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/%d/ajax/1/'pageNum = 0total_number = 0

这些url为本次爬虫的主要目标，是要爬取具体的行情数据。

4）url爬虫的流程实现如下：

        if self.pageNum <= self.total_number: self.pageNum += 1print('爬第：%d 页' % self.pageNum)new_url = self.url % self.pageNum# callback 回调函数，页面进行解析yield scrapy.Request(url=new_url, callback=self.parse)

通过yield来进行循环爬取。

这样的话，整个流程实现了爬取 total_number+1 个页面的数据。

对url的爬取的数据进行解析，获取股票id，股票名称，股票最新价与最新的涨跌幅。

            for each in response.xpath('/html/body/table/tbody/tr'):item = TonghuashunItem()td_info = each.xpath('.//td')[1:]stock_id = td_info[0].xpath('a/text()').extract()[0]stock_name = td_info[1].xpath('a/text()').extract()[0]  price = td_info[2].xpath('text()').extract()[0]range = td_info[3].xpath('text()').extract()[0]print(stock_id,stock_name,price,range)if(stock_id != []):item['stock_id'] = stock_idif(stock_name != []):item['stock_name'] = stock_nameif(price != []):item['price'] = priceif(range != []):item['range'] = rangeitems.append(item)

该blog中内容比较简单明了，就不发布整体源码拉，后续将结合存储以及相关应用实现爬虫的数据分析。

scrapy多个url爬虫相关推荐

Scrapy 豆瓣搜索页爬虫
Scrapy 豆瓣搜索页爬虫使用scrapy爬虫框架对豆瓣图书搜索结果进行爬取 Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架可以应用在包括数据挖掘,信息处理或存 ...
Scrapy中的crawlspider爬虫
crawlspider 介绍创建模板具体参数和解释重点在rules中: 栗子: 介绍 Scrapy框架中分两类爬虫 Spider类和CrawlSpider类. crawlspider是Spide ...
python scrapy教程实例_爬虫框架Scrapy的第一个爬虫示例入门教程
原标题:爬虫框架Scrapy的第一个爬虫示例入门教程我们使用dmoz.org这个网站来作为小抓抓一展身手的对象. 首先先要回答一个问题. 问:把网站装进爬虫里,总共分几步? 答案很简单,四步: 新建 ...
python爬虫框架教程_Python爬虫实战（十二）：爬虫框架Scrapy的第一个爬虫示例入门教程...
本文主要向大家介绍了Python爬虫实战的爬虫框架Scrapy的第一个爬虫示例入门教程,通过具体的内容向大家展现,希望对大家学习Python爬虫实战有所帮助. 我们使用dmoz.org这个网站来作为小 ...
scrapy初步-简单静态爬虫(爬取电影天堂所有电影)
之前用java写过一个简单的爬取电影天堂信息的爬虫,后来发现用python写这种简单的爬虫程序更简单,异步网络框架在不使用多线程和多进程的情况下也能增加爬取的速度,目前刚开始学scrapy,用这个写了 ...
Python爬虫进阶——Scrapy框架原理及分布式爬虫构建
1 Scrapy简介 1.1 概念 Scrapy是由Python语言开发的一个快速.高层次的屏幕抓取和web信息抓取框架,用于抓取web站点并从页面中提取结构化的数据. Scrapy用途广泛,可以用于 ...
Scrapy——可配置的爬虫
转自: http://bbs.cnpameng.com/bbs/forum.php?mod=viewthread&tid=12&extra=page%3D1 Scrapy--可配 ...
Python爬虫总结——Scrapy+Gerapy部署网络爬虫
Python爬虫总结--从基础爬虫到Scrapy+Gerapy部署网络爬虫前言一.常用pip模块介绍 1.NumPy库 2.Pandas库 3.Requests库 4.BeautifulSoup库 ...
4.基于scrapy的实时电影爬虫开发
在前面搭建好了前后台的基本框架之后,就可以使用websocket+scrapy来开发和用户交互的实时爬虫系统了.基本的思路为:当用户在前台发送请求之后,通过websocket的方式来进行前后台交互,并 ...

scrapy多个url爬虫

scrapy多个url爬虫相关推荐

最新文章

热门文章