【python爬虫教程】用python抓取肯德基某地的门店列表实例代码（支持分页）

这是一个用python开发的一个简单的爬虫，作用是抓取肯德基官方网站公布的门店列表，支持关键词搜索，支持分页

先来看看效果：

请输入想要查询的城市:北京
抓取成功第1页成功!!!
抓取成功第2页成功!!!
抓取成功第3页成功!!!
抓取成功第4页成功!!!
抓取成功第5页成功!!!
抓取成功第6页成功!!!
抓取成功第7页成功!!!
抓取成功第8页成功!!!
抓取成功第9页成功!!!
抓取成功第10页成功!!!
抓取结束

运行程序后界面会先提示要查询的城市，输入后即会逐页抓取数据并分别保存到本地文件。

以下的代码需用到requests模块，如果未安装需要执行

pip3 install request

安装

import requests
import json
if __name__ == '__main__':url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'kw = input('请输入想要查询的城市:')page = 1pageSize = 10while True:params = {'cname': '','pid': '','keyword': kw,'pageIndex': page,'pageSize': pageSize }header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}response = requests.post(url=url, data=params, headers=header)res = response.json()shopCount = len(res['Table1'])if shopCount > 0:fileName = kw + str(page) + '.json'fileIndex = open('./' + fileName, 'w', encoding='utf-8')json.dump(res, fp=fileIndex, ensure_ascii=False)print('抓取成功第' + str(page) + '页成功!!!')page = page+1if shopCount < pageSize:print('抓取结束')break

【python爬虫教程】用python抓取肯德基某地的门店列表实例代码（支持分页）相关推荐

Python爬虫案例：简单爬取肯德基餐厅位置信息
目录代码成功获取的数据预览代码 # Python爬虫简单例子 # 爬取肯德基餐厅位置信息 # 仅供学习交流!import requests;# 判断是否是当前文件运行 if __name__ = ...
python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现
1.用到的模块: requests pprint csv 2.找到肯德基门店网站进入门店位置页面后,打开抓包工具,找到response中包含所需信息的正确的url信息 3. 导入地址url 4.为防止 ...
Python爬虫包 BeautifulSoup 递归抓取实例详解
Python爬虫包 BeautifulSoup 递归抓取实例详解概要: 爬虫的主要目的就是为了沿着网络抓取需要的内容.它们的本质是一种递归的过程.它们首先需要获得网页的内容,然后分析页面内容并找到另 ...
Python爬虫实战六之抓取爱问知识人问题并保存至数据库
大家好,本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法正则表 ...
[Python爬虫] 三、数据抓取之Requests HTTP 库
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应 [Python爬虫] 二.爬虫原理之定义.分类.流程与编码格式一.urllib 模块所谓网页抓取,就是把URL ...
Python爬虫之gif图片抓取
Python爬虫之gif图片抓取标签:图片爬虫这几天,对于怎么去爬取图片很感兴趣,就研究了一下,图片爬虫可以说是有简单,更有复杂的,今天,我做了一个比较简单的gif的图片爬虫,仅仅学习一下怎么进行 ...
[Python爬虫] 四、数据抓取之HTTP/HTTPS抓包工具Fiddler
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应 [Python爬虫] 二.爬虫原理之定义.分类.流程与编码格式 [Python爬虫] 三.数据抓取之Request ...
Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接
Python爬虫:利用JS逆向抓取携程网景点评论区图片的下载链接 1. 前言 2. 实现过程 3. 运行结果 1. 前言文章内容可能存在版权问题,为此,小编不提供相关实现代码,只是从js逆向说一说到 ...
python爬取肯德基KFC全国门店2021-01-11
python爬取肯德基KFC全国门店改进版之前,参考两位网友的代码,爬取全国KFC门店,发现有些许问题.在参考网友代码的基础上,进行改进,最终爬取了全国KFC门店. 思路如下: 第一步:通过KFC ...

【python爬虫教程】用python抓取肯德基某地的门店列表实例代码（支持分页）

【python爬虫教程】用python抓取肯德基某地的门店列表实例代码（支持分页）相关推荐

最新文章

热门文章