Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取

安装

# 进度条
pip install tqdm

code：

import json
from urllib import request, parse
from tqdm import tqdmclass GetKFCAddress:# 请求头信息headers = {'Referer': 'http://www.kfc.com.cn/kfccda/storelist/index.aspx','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36','Cookie': "ASP.NET_SessionId = pk43tx2lplhrzsdcnljl1gc5;Hm_lvt_1039f1218e57655b6677f30913227148 = 1585564393;Hm_lpvt_1039f1218e57655b6677f30913227148 = 1585564855;KLBRSID = a34b6eb1eda6f7a05724ede2e440cdc7 | 1585617345 | 1585617345",'X-Requested-With': 'XMLHttpRequest',}# 初始化数据def __init__(self,city,path,page=1):self.city = cityself.url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'self.path = pathself.page = pagedef prepare_request(self,post_data):# 通过urlencode进行编码encode_post_data = parse.urlencode(post_data).encode('utf-8')res = request.Request(self.url, data=encode_post_data, headers=GetKFCAddress.headers)req = request.urlopen(res)return reqdef saveaddress(self,json_obj):# 对感兴趣的内容进行提取（依据json格式来提取）for film_dict in tqdm(json_obj['Table1']):title = film_dict['storeName']rate = film_dict["addressDetail"]with open(self.path, "a", encoding='utf-8') as fp:fp.write("storeName:{}餐厅, addressDetail:{}".format(title, rate) + '\n')def getaddress(self):while True:post_data = {'cname':'','pid':'','keyword':f'{self.city}','pageIndex': f'{self.page}',}# 获取请求对象req = self.prepare_request(post_data)# 判断请求数据，是否成功if not req.code == 200:return '获取失败!'text = req.read().decode('utf-8')json_obj = json.loads(text)print(json_obj['Table1'])# 到达最后一页，跳出循环if not json_obj['Table1']:breakelse:self.page += 1# 保存获取的数据信息self.saveaddress(json_obj)if __name__ == '__main__':# 数据保存路径path = 'KFC_Address.txt'# 获取数据的城市city = '深圳'get_kfc_address = GetKFCAddress(city,path)get_kfc_address.getaddress()

Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取相关推荐

Python爬虫入门【19】： B站博人传评论数据抓取 scrapy
1. B站博人传评论数据爬取简介今天想了半天不知道抓啥,去B站看跳舞的×××姐,忽然看到了评论,那就抓取一下B站的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看.网 ...
Python爬虫基础-如何获取网页源代码
Python爬虫基础-如何获取网页源代码网络爬虫(Web Crawler),又称网页蜘蛛(Web Spider),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.爬虫程序根据一组特定的规则 ...
Python爬虫入门教程【4】：美空网未登录图片爬取
美空网未登录图片----简介上一篇写的时间有点长了,接下来继续把美空网的爬虫写完,这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点,因为它只是一套入门的教程,老鸟你自动绕过就可 ...
python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据
python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据 1.前言上一篇是一个 python3爬虫系列22之selenium模拟登录需要验证码的微博且抓取数据, 我们是首 ...
获取微信html代码,微信小程序云开发js抓取网页内容
最近在研究微信小程序的云开发功能.云开发最大的好处就是不需要前端搭建服务器,可以使用云端能力,从零开始写出来一个能上线的微信小程序,避免了买服务器的开销,对于个人来尝试练手微信小程序从前端到后台的开发 ...
python 爬虫源代码-Python爬虫学习之获取指定网页源码
本文实例为大家分享了Python获取指定网页源码的具体代码,供大家参考,具体内容如下 1.任务简介前段时间一直在学习Python基础知识,故未更新博客,近段时间学习了一些关于爬虫的知识,我会分为多篇 ...
Python爬虫教你获取4K超清壁纸图片，手把手教你跟我一起爬！
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:Python进阶者 ( 想要学习Python?Pyth ...
Python爬虫：Xpath获取关键标签，实现盖楼抽奖
目录前言分析链接切分提取tid 随机提取评论的内容盖楼刷抽奖前言目前对于Python来说,使用最多的功能肯定是Python爬虫.比如抢购茅台以及刷评论,盖楼等抽奖活动贴,都可以应用到爬虫的 ...
python爬虫系列：获取同花顺沪深上市公司信息
转自微信公众号-----数据观察沪.深证券交易所自1990年成立以来,已伴随中国经济发展将近30年了.在这将近30年里,沪.深股市起起落落.跌跌撞撞顽强走出了一条支撑中国企业.中国经济发展的股市成长 ...

Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取

安装

code：

Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取相关推荐

最新文章

热门文章

Python爬虫 输入城市 获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取

安装

code：

Python爬虫 输入城市 获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取相关推荐

最新文章

热门文章

Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取

Python爬虫输入城市获取对应KFC餐厅名字及地址 -- KFC店铺位置抓取相关推荐