SCrapy爬虫大战京东商城
SCrapy爬虫大战京东商城
引言
上一篇已经讲过怎样获取链接,怎样获得参数了,详情请看python爬取京东商城普通篇
代码详解
- 首先应该构造请求,这里使用scrapy.Request,这个方法默认调用的是
start_urls
构造请求,如果要改变默认的请求,那么必须重载该方法,这个方法的返回值必须是一个可迭代的对象,一般是用yield
返回,代码如下:
def start_requests(self):for i in range(1,101):page=i*2-1 #这里是构造请求url的page,表示奇数url=self.start_url+str(page)yield scrapy.Request(url,meta={'search_page':page+1},callback=self.parse_url) #这里使用meta想回调函数传入数据,回调函数使用response.meta['search-page']接受数据
下面就是解析网页了,从上面看出这里的解析回调函数是
parse_url
,因此在此函数中解析网页。这里还是和上面说的一样,这个url
得到的仅仅是前一半的信息,如果想要得到后一半的信息还有再次请求,这里还有注意的就是一个技巧:一般先解析出一个数据的数组,不急着取出第一个数,先要用if语句判断,因为如果得到的是[]
,那么直接取出[0]
是会报错的,这只是一个避免报错的方法吧,代码如下:
def parse_url(self,response):if response.status==200: #判断是否请求成功# print response.urlpids = set() #这个集合用于过滤和保存得到的id,用于作为后面的ajax请求的url构成try:all_goods = response.xpath("//div[@id='J_goodsList']/ul/li") #首先得到所有衣服的整个框架,然后从中抽取每一个框架for goods in all_goods: #从中解析每一个# scrapy.shell.inspect_response(response,self) #这是一个调试的方法,这里会直接打开调试模式items = JdSpiderItem() #定义要抓取的数据img_url_src = goods.xpath("div/div[1]/a/img/@src").extract() # 如果不存在就是一个空数组[],因此不能在这里取[0]img_url_delay = goods.xpath("div/div[1]/a/img/@data-lazy-img").extract() # 这个是没有加载出来的图片,这里不能写上数组取第一个[0]price = goods.xpath("div/div[3]/strong/i/text()").extract() #价格cloths_name = goods.xpath("div/div[4]/a/em/text()").extract()shop_id = goods.xpath("div/div[7]/@ data-shopid").extract()cloths_url = goods.xpath("div/div[1]/a/@href").extract()person_number = goods.xpath("div/div[5]/strong/a/text()").extract()pid = goods.xpath("@data-pid").extract()# product_id=goods.xpath("@data-sku").extract()if pid:pids.add(pid[0])if img_url_src: # 如果img_url_src存在print img_url_src[0]items['img_url'] = img_url_src[0]if img_url_delay: # 如果到了没有加载完成的图片,就取这个urlprint img_url_delay[0]items['img_url'] = img_url_delay[0] # 这里如果数组不是空的,就能写了if price:items['price'] = price[0]if cloths_name:items['cloths_name'] = cloths_name[0]if shop_id:items['shop_id'] = shop_id[0]shop_url = "https://mall.jd.com/index-" + str(shop_id[0]) + ".html"items['shop_url'] = shop_urlif cloths_url:items['cloths_url'] = cloths_url[0]if person_number:items['person_number'] = person_number[0]# if product_id:# print "************************************csdjkvjfskvnk***********************"# print self.comments_url.format(str(product_id[0]),str(self.count))# yield scrapy.Request(url=self.comments_url.format(str(product_id[0]),str(self.count)),callback=self.comments)#yield scrapy.Request写在这里就是每解析一个键裤子就会调用回调函数一次yield itemsexcept Exception:print "********************************************ERROR**********************************************************************"yield scrapy.Request(url=self.search_url.format(str(response.meta['search_page']),",".join(pids)),callback=self.next_half_parse) #再次请求,这里是请求ajax加载的数据,必须放在这里,因为只有等到得到所有的pid才能构成这个请求,回调函数用于下面的解析
- 从上面代码的最后可以看出最后就是解析
ajax
加载的网页了,这里调用的next_half_parse
函数,和解析前面一个网页一样,这里需要的注意的是,如果前面定义的数据没有搜索完毕是不能使用yield items
的,必须将items通过meta传入下一个回调函数继续完善后才能yield items
,这里就不需要了,代码如下:
#分析异步加载的网页def next_half_parse(self,response):if response.status==200:print response.urlitems=JdSpiderItem()#scrapy.shell.inspect_response(response,self) #y用来调试的try:lis=response.xpath("//li[@class='gl-item']")for li in lis:cloths_url=li.xpath("div/div[1]/a/@href").extract()img_url_1=li.xpath("div/div[1]/a/img/@src").extract()img_url_2=li.xpath("div/div[1]/a/img/@data-lazy-img").extract()cloths_name=li.xpath("div/div[4]/a/em/text()").extract()price=li.xpath("div/div[3]/strong/i/text()").extract()shop_id=li.xpath("div/div[7]/@data-shopid").extract()person_number=li.xpath("div/div[5]/strong/a/text()").extract()if cloths_url:print cloths_url[0]items['cloths_url']=cloths_url[0]if img_url_1:print img_url_1[0]items['img_url']=img_url_1if img_url_2:print img_url_2[0]items['img_url']=img_url_2[0]if cloths_name:items['cloths_name']=cloths_name[0]if price:items['price']=price[0]if shop_id:items['shop_id']=shop_id[0]items['shop_url']="https://mall.jd.com/index-" + str(shop_id[0]) + ".html"if person_number:items['person_number']=person_number[0]yield items #又一次的生成,这里是完整的数据,因此可以yield itemsexcept Exception:print "**************************************************"
- 当然这里还用到了设置请求池,
mysql
存储,没有使用到ip
代理,这个在我前面的博客中又讲到,这里就不再赘述了,想看源代码的朋友请点击这里
小技巧
人们会抱怨为什么自己的爬虫在中途断开就要重头开始爬,为什么不能从断开那里开始爬呢,这里提供一个方法:在配置文件
settings.py
中加入JOBDIR=file_name
,这里的file_name
是一个文件的名字设置下载延迟防止被
ban
:DOWNLOAD_DELAY = 2
:设置每一次的间隔时间RANDOMIZE_DOWNLOAD_DELAY = True
:这个是随机设置延迟时间 在设置的时间的0.5-1.5
倍之间,这样可以更有效的防止被ban,一般是配套使用的
ROBOTSTXT_OBEY = False
:这里是表示不遵循robots.txt
文件,默认是True
表示遵循,这里将之改成False
CONCURRENT_REQUESTS
:设置最大请求数,这里默认的时16
,我们可以根据自己电脑的配置改的大一点来加快请求的速度
更多文章请看本人博客
SCrapy爬虫大战京东商城相关推荐
- 用scrapy爬取京东商城的商品信息
软件环境: 1 gevent (1.2.2) 2 greenlet (0.4.12) 3 lxml (4.1.1) 4 pymongo (3.6.0) 5 pyOpenSSL (17.5.0) 6 r ...
- Scrapy爬取京东商城华为全系列手机评论
本文转自:https://mp.weixin.qq.com/s?__biz=MzA4MTk3ODI2OA==&mid=2650342004&idx=1&sn=4d270ab7c ...
- Scrapy 爬取京东商城华为全系列手机评论
向AI转型的程序员都关注了这个号
- Scrapy练习——爬取京东商城商品信息
刚刚接触爬虫,花了一段时间研究了一下如何使用scrapy,写了一个比较简单的小程序,主要用于爬取京东商城有关进口牛奶页面的商品信息,包括商品的名称,价格,店铺名称,链接,以及评价的一些信息等.简单记录 ...
- Python分布式抓取和分析京东商城评价
互联网购物现在已经是非常普遍的购物方式,在互联网上购买商品并且使用之后,很多人都会回过头来对自己购买的商品进行一些评价,以此来表达自己对于该商品使用后的看法.商品评价的好坏对于一个商品的重要性显而易见 ...
- Scrapy框架爬虫项目:京东商城笔记本电脑信息爬取
一.创建Scrapy项目 在cmd中输入一下指令创建一个新的scrapy项目及一个爬虫 scrapy startproject JD_Goodscd JD_Goodsscrapy genspider ...
- python爬京东联盟_python爬虫框架scrapy实战之爬取京东商城进阶篇
前言 之前的一篇文章已经讲过怎样获取链接,怎样获得参数了,详情请看python爬取京东商城普通篇,本文将详细介绍利用python爬虫框架scrapy如何爬取京东商城,下面话不多说了,来看看详细的介绍吧 ...
- python爬虫完整实例-python爬虫实战之爬取京东商城实例教程
前言 本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...
- 爬虫python的爬取步骤-python爬虫实战之爬取京东商城实例教程
前言 本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...
最新文章
- ACL 2020三大奖项出炉!知名学者夫妇曾先后获终身成就奖,时间检验奖回溯95年经典著作...
- C++ Primer 5th笔记(3)字符串、向量和数组:数组
- 2013年第四届蓝桥杯C/C++ A组国赛 —— 第四题:约数倍数选卡片
- 过滤:filter、结果收集(数组)
- 定时任务四种实现方式
- Linux常用命令大全--有关磁盘空间的命令
- java对接支付宝微信银联_经典设计模式之策略模式【如何重构聚合支付平台,对接【支付宝,微信,银联支付】】(示例代码)...
- html代码编辑器jason,JSON 编辑器实现代码
- 时间序列研(part14)--习题
- 【论文笔记】—低照度图像增强—Supervised—RetinexNet—2018-BMVC
- Python基础---List(列表)
- Idear集成maven环境
- github官网访问太慢
- calc() 工作原理
- python如何模拟键盘输入_Python模拟键盘输入和鼠标操作
- ECS服务器10M带宽能让多少人同时访问?
- 【蓝桥杯选拔赛真题15】Scratch碰苹果游戏 少儿编程scratch蓝桥杯选拔赛真题讲解
- 从Mate X3看华为折叠屏手机的创新领启
- 构造中小型园区网实训案例
- C#删除文件和文件夹到回收站
热门文章
- 中科院自动化研究所面试
- 王亮 中国科学院自动化研究所
- 洛谷:坚果保龄球(P1413,贪心)
- unity3d培训_002
- 获取省市区geoJson数据(精确到县、镇)用于echarts实现地图数据可视化
- 一个页面两个或多个swiper vue中一个页面多个swiper互相干扰 swiper轮播冲突
- Java 两个中文字符串异或问题
- Matplotlib图片保存
- 200套工作室设计行业响应式Html5模板HTML5+CSS3设计网站模板简洁设计师作品展示响应式模板整洁扁平宽屏CSS3网站模板html5网页静态模板Bootstrap扁平化网站源码css3手机se
- html 悬浮菜单按钮,HTML右侧悬浮菜单