爬虫：利用python+requests爬取全国肯德基餐厅门店信息，并写入CSV文件中

爬虫思路：
1.确定url
2.发送请求 requests
3.解析数据
4.保存数据（本地）

关键库：requests，re，csv，pprint(用与console看数据)

一.利用lagou的一个接口获取全国城市。（共318个,好像不全不过仅供学习参考）

def getcitys():getcityurl = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'headers = {'cookie': 'JSESSIONID=ABAAABAABEIABCI2827CF8DDD33BE694A53A588393F69EF','user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}recity = requests.get(url=getcityurl,headers=headers)rejson = recity.textrcitys =re.findall(r'"name":"(.*?)"',rejson)citys = []for city in rcitys:citys.append(city)return citys;

二.利用KFC官网的一个接口获取全国城市KFC门店信息。

def getkfc(city):base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'data = {'cname':'','pid':'','keyword':'{}'.format(city),'pageIndex':'1','pageSize':'10000'}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}#请求数据response = requests.post(url=base_url,data=data,headers=headers)json = response.json()#pprint.pprint(json)#解析数据list_data = json['Table1']#pprint.pprint(list_data)#记录当前城市with open('data.csv',mode='a',newline='',encoding='utf-8')as csvfile:csvfile.write("当前城市为：{}".format(city))csvfile.write('\n')for data in list_data:rnumb = data['rownum']storeName = data['storeName']cityName = data['cityName']addressDetail = data['addressDetail']pro = data['pro']provinceName = data['provinceName']print(rnumb,provinceName,cityName,storeName,addressDetail,pro)#保存数据（本地\数据库）with open('data.csv',mode='a',newline='',encoding='utf-8')as csvfile:csv_writer = csv.writer(csvfile,delimiter=',')csv_writer.writerow([rnumb,provinceName,cityName,storeName,addressDetail,pro])

main函数

if __name__ == '__main__':citys = getcitys()#print(len(citys))for city in citys:print("******当前城市为：{}******".format(city))getkfc(city)

无proxies,无proxies,无proxies

爬虫：利用python+requests爬取全国肯德基餐厅门店信息，并写入CSV文件中相关推荐

爬虫实战4：爬取猫眼电影排名Top100的详细数据保存到csv文件
申明:资料来源于网络及书本,通过理解.实践.整理成学习笔记. 文章目录猫眼电影完整代码运行结果猫眼电影完整代码 import time import requests import re i ...
python爬虫翻页操作——ajax肯德基餐厅门店信息爬取
需求:输入城市名称就可以查询到所在地区的肯德基餐厅门店地址,并以文本形式保存. 文章目录一.打开肯德基官方网站利用抓包工具进行分析二.编码三.总结一.打开肯德基官方网站利用抓包工具进行分析示 ...
利用Python自动爬取全国30+城市地铁图数据
数据来源首先分析全国各个城市地铁图的数据来源,无非就是百度或者高德,这次选择用高德作为数据来源. 基本环境配置版本:Python3 系统:Windows 相关模块: 安装请求库 pip insta ...
Python爬虫案例：简单爬取肯德基餐厅位置信息
目录代码成功获取的数据预览代码 # Python爬虫简单例子 # 爬取肯德基餐厅位置信息 # 仅供学习交流!import requests;# 判断是否是当前文件运行 if __name__ = ...
python爬取ajax动态内容肯德基门店_爬虫爬取国内肯德基门店信息
预期效果爬取每个城市(300+城市)所有的肯德基门店信息,保存到excel中,效果如下: 代码实现 import requests import csv import json def getDat ...
python为啥爬取数据会有重复_利用Python来爬取“吃鸡”数据，为什么别人能吃鸡？...
原标题:利用Python来爬取"吃鸡"数据,为什么别人能吃鸡? 首先,神装镇楼背景最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波 ...
利用python+selenium爬取derwent数据库上的patents
利用python+selenium爬取derwent数据库上的patents 需求: 登陆web of science,并进入derwent数据库,按照公司excel列表依次进行搜索,并将所有搜索道德 ...
python requests 爬取数据
python requests 爬取数据 import requests from lxml import etree import time import pymysql import json h ...
【实用工具系列之爬虫】python实现爬取代理IP（防 ‘反爬虫’）
系列 [实用工具系列之爬虫]python实现爬取代理IP(防 '反爬虫') [实用工具系列之爬虫]python实现快速爬取财经资讯(防 '反爬虫') 本文使用python实现代理IP的爬取,并可以防' ...

爬虫：利用python+requests爬取全国肯德基餐厅门店信息，并写入CSV文件中

爬虫：利用python+requests爬取全国肯德基餐厅门店信息，并写入CSV文件中相关推荐

最新文章

热门文章