一、打开肯德基官方网站利用抓包工具进行分析

示例：在餐厅关键字中输入杭州，点击查询。同时我们可以在Network的XHR中看到有一个ajax请求的数据包，分析得出是post请求，返回回来的内容是text，如图1所示。

从图2中可以看出，请求携带的参数是5个。

二、编码

1.翻页用for循环
2.存储文件时模式为a追加写入

import requests
if __name__ == "__main__":url ='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'#1.指定url#UA伪装headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}kw = input('enter a place')#让用户键入数据for pageIndex in range(0, 16):#for循环实现翻页pageIndex = str(pageIndex)#转换成字符串#data里面封装了url携带的参数data = {'cname': '','pid':'','keyword': kw,'pageIndex': pageIndex,'pageSize': '10'}response = requests.post(url=url, data=data, headers=headers)#2.发起post请求page_text = response.text#3.获取请求数据filename = kw+'的肯德基门店位置有：'with open(filename, 'a', encoding='utf-8') as fp:#4.持久化存储，模式为a追加fp.write(page_text)print('over')

三、总结

1.记住requests模块编码的四个流程。
2.翻页功能应该有更好的实现方式。
3.爬取到的数据还要进行下一步处理，请见后面的博客。

python爬虫翻页操作——ajax肯德基餐厅门店信息爬取相关推荐

零基础入门python爬虫之《青春有你2》选手信息爬取
零基础入门python爬虫之<青春有你2>选手信息爬取完成<青春有你2>选手图片爬取,生成选手图片的绝对路径并输出,统计爬取的图片总数量.使用工具:requests模块.Be ...
python爬虫京东，苏宁，小米众筹网站信息爬取
可代写python爬虫,收费可协商,用途需提前说明. 下面爬虫爬到的数据有100天左右,100家众筹的完整数据,需要的或者有写爬虫需求的同学可发邮件至starinsunriseabovesea@ali ...
爬虫：利用python+requests爬取全国肯德基餐厅门店信息，并写入CSV文件中
爬虫思路: 1.确定url 2.发送请求 requests 3.解析数据 4.保存数据(本地) 关键库:requests,re,csv,pprint(用与console看数据) 一.利用lagou的一 ...
【Python爬虫练习】虎扑社区步行街版块首页信息爬取（BeautifulSoup+MongoDB）
严正声明:爬虫仅用于学习研究,不做商业或者其它非法用途! 首先我们要爬取的网页地址为:https://bbs.hupu.com/bxj 页面的样子是这样的: 红色圈出来的部分就是我们所要爬取的内容信息 ...
python爬虫翻页_教给你一个python爬虫最简单的翻页的办法
很多同学对python爬虫翻页感到很是头疼,下面我教给大家一个最简单的办法:模糊搜索法.以这个网站 :https://m.51xw.net/meizi/ 为例打开网站我们先看到的是一个个的图集,点开 ...
Python爬虫案例：简单爬取肯德基餐厅位置信息
目录代码成功获取的数据预览代码 # Python爬虫简单例子 # 爬取肯德基餐厅位置信息 # 仅供学习交流!import requests;# 判断是否是当前文件运行 if __name__ = ...
Python爬虫学习第三章-4.3-使用xpath解析爬取全国城市名称
Python爬虫学习第三章-4.3-使用xpath解析爬取全国城市名称这一节主要是使用xpath解析爬取全国城市名称这里使用的网址是:空气质量历史数据查询这一个案例体现的点主要是xpat ...
【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】
[爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj
【【数据可视化毕业设计：差旅数据可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG
[[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...

python爬虫翻页操作——ajax肯德基餐厅门店信息爬取

文章目录

一、打开肯德基官方网站利用抓包工具进行分析

二、编码

三、总结

python爬虫翻页操作——ajax肯德基餐厅门店信息爬取相关推荐

最新文章

热门文章