scrapy_redis实现分布式爬取京东图书数据

京东分布式爬虫

# -*- coding: utf-8 -*-
import jsonimport scrapyfrom JD.items import JdItem# 1. 导入分布式爬虫
from scrapy_redis.spiders import RedisSpider# 2. 继承分布式爬虫
class BookSpider(RedisSpider):name = 'book'# 3. 注销start_url和allowed_domains# # 修改允许的域# allowed_domains = ['jd.com','p.3.cn']# # 修改起始的url# start_urls = ['https://book.jd.com/booksort.html']# 4. 设置redis_keyredis_key = 'jd_book'# 5. 设置__init__def __init__(self, *args, **kwargs):domain = kwargs.pop('domain','')self.allowed_domains = list(filter(None,domain.split(',')))super(BookSpider,self).__init__(*args,**kwargs)def parse(self, response):# 获取所有图书大分类节点列表big_node_list = response.xpath('//*[@id="booksort"]/div[2]/dl/dt/a')for big_node in big_node_list[:5]:big_category = big_node.xpath('./text()').extract_first()big_category_link = response.urljoin(big_node.xpath('./@href').extract_first())# 获取所有图书小分类节点列表small_node_list = big_node.xpath('../following-sibling::dd[1]/em/a')for small_node in small_node_list[:5]:temp = {}temp['big_category'] = big_categorytemp['big_category_link'] = big_category_linktemp['small_category'] = small_node.xpath('./text()').extract_first()temp['small_category_link'] = response.urljoin(small_node.xpath('./@href').extract_first())# 模拟点击小分类链接yield scrapy.Request(url = temp['small_category_link'],callback = self.parse_book_list,meta = {'jd_wtt':temp},)def parse_book_list(self, response):temp = response.meta['jd_wtt']book_list = response.xpath('//*[@id="plist"]/ul/li/div')for book in book_list:item = JdItem()item['big_category'] = temp['big_category']item['big_category_link'] = temp['big_category_link']item['small_category'] = temp['small_category']item['small_category_link'] = temp['small_category_link']book_name = book.xpath('./div[3]/a/em/text()|./div/div[2]/div[1]/div[3]/a/em/text()').extract_first()item['bookname'] = str(book_name).strip()item['author'] = book.xpath('./div[4]/span[1]/span/a/text()|./div/div[2]/div[1]/div[4]/span[1]/span/a/text()').extract_first()item['link'] = book.xpath('//div[1]/a/@href|./div/div[2]/div[1]/div[3]/a/@href').extract_first()# 获取图书编号skuid = book.xpath('.//@data-sku').extract_first()# 拼接图书价格地址pri_url = 'https://p.3.cn/prices/mgets?skuIds=J_' + skuidyield scrapy.Request(url = pri_url,callback = self.parse_price,meta = {"jd_wtt_1":item})def parse_price(self, response):item = response.meta['jd_wtt_1']dict_data = json.loads(response.body.decode())item['price'] = dict_data[0]['p']yield item

复制scrapy_redis的settings.py文件到JD的settings.py文件中进行部分更改

SPIDER_MODULES = ['JD.spiders']
NEWSPIDER_MODULE = 'JD.spiders'USER_AGENT = 'scrapy-redis (+https://github.com/rolando/scrapy-redis)'DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"ITEM_PIPELINES = {# 'JD.pipelines.ExamplePipeline': 300,'scrapy_redis.pipelines.RedisPipeline': 400,
}# 设置redis数据库
REDIS_URL = "redis://127.0.0.1:6379"# LOG_LEVEL = 'DEBUG'# Introduce an artifical delay to make use of parallelism. to speed up the
# crawl.
DOWNLOAD_DELAY = 1

分布式爬虫总结

使用场景
- 数据量特别巨大
- 数据要求时间比较紧张
分布式的实现
- scrapy_redis实现分布式
- 普通爬虫实现分布式实现去重集合与任务队列的共享
分布式的部署
- 若干台普通笔记本电脑
- 一台服务器虚拟若干台电脑
- 数据采集服务器若干台、管理若干台、存储若干台

scrapy_redis实现分布式爬取京东图书数据相关推荐

一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...
python爬取京东书籍_一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...
scrapy+selenuim中间件爬取京东图书有详细思考过程（涉及较广适合练手）
网上很多版本的爬取京东图书都失效了现在这个版本是能运行的截至到编辑的日期的前后(往后不敢保证) gitee仓库网址:https://gitee.com/cc2436686/jd_book_spide ...
爬虫学习:爬取京东图书
爬虫学习:scrapy爬取京东图书,详情页url地址对应的响应并不能满足数据提取的需要price字段(即当前url地址对应的响应与element中不一样存在缺失,所以需要构造能够获取价格的请求) # ...
python学爬虫书籍_Python3实战爬虫之爬取京东图书的图文详解
最近在学习python3,下面这篇文章主要给大家介绍了关于Python3实战爬虫之爬取京东图书图片的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下 ...
Python爬取京东商品数据
一.前言由于京东反爬技术较强,使用常规方法爬取其数据行不通,且使用逆向分析技术又具有一定难度,所以本文将直接使用selenium爬取京东商品数据.若不知道怎么安装和配置selenium,请点击查阅笔 ...
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
这篇文章主要介绍了python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析的实例,帮助大家更好的理解和学习使用python.感兴趣的朋友可以了解下一.环境准备 python3.8.3 ...
Java爬取京东商品数据
爬取京东商品数据我把项目部署到了linux中,进行爬取,爬到了3000条手机信息,只是爬了一些简单的文本信息. 本文爬取的数据为京东手机信息准备工作导入爬取数据需要的依赖包编写httpClie ...
Selenium实战之Python+Selenium爬取京东商品数据
实战目标:爬取京东商品信息,包括商品的标题.链接.价格.评价数量. 代码核心在于这几个部分: 其一:使用元素定位来获取页面上指定需要抓取的关键字: 其二:将页面上定位得到的数据永久存储到本地文件中. ...

scrapy_redis实现分布式爬取京东图书数据

京东分布式爬虫

分布式爬虫总结

scrapy_redis实现分布式爬取京东图书数据相关推荐

最新文章

热门文章