python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现

1.用到的模块：

requests

pprint

csv

2.找到肯德基门店网站进入门店位置页面后，打开抓包工具，找到response中包含所需信息的正确的url信息

3. 导入地址url

4.为防止被拦截，进行UA伪装

5.发送post请求

6.将得到的响应数据转换成json字符串

7.进行数据整理

8.创建并将数据导入csv文件

下面是代码实现：

import requests
import pprint
import csv
KFC_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
agent = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
data = {'keyword': '舟山', 'pageIndex': 1, 'pageSize': '4', 'cname': '', 'pid': ''
}
response = requests.post(url=KFC_url, headers=agent, data=data)
print(response)
json_data = response.json()
pprint.pprint(json_data)
# 数据解析--xpath，css选择器，正则（json---序列化后 转换字典）
json_list = json_data['Table1']
for i in json_list:addressDetail = i['addressDetail']cityName = i['cityName']pro = i['pro']provinceName = i['provinceName']storeName = i['storeName'] + '餐厅'print(provinceName, cityName, addressDetail, storeName, pro, sep='|')# 保存数据（本地文件，数据库）with open('data.csv', mode='a') as csvfile:csvwriter = csv.writer(csvfile, delimiter='，')csvwriter.writerow([provinceName, cityName, addressDetail, storeName, pro])

本文章是本人学习过程记录和心得记录，若有不正确的地方欢迎指正。

python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现相关推荐

python3使用requests和csv库抓取某地市肯德基门店地址并存入csv文件
示例代码如下: import requests,csv def main():url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op ...
Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码代码仅供学习交流 ...
Python爬虫案例：爬取酷狗音乐全排行榜歌曲
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理本次目标爬取酷狗音乐全站排行榜歌曲目标地址 https://www.ku ...
python 爬虫爬取肯德基门店信息
import requests 肯德基餐厅查询: http://www.kfc.com.cn/kfccda/storelist/index.aspx **分析:**数据为动态加载数据通过全局抓包工具的 ...
爬虫作业1：爬取肯德基餐厅地址查询
网址:https://www.kfc.com.cn/kfccda/index.aspx 流程与爬取豆瓣电影排行榜一致分析一下网站: 进入肯德基官网: 点击最下面,餐厅查询. 餐厅关键词写一个城市,例 ...
python 爬虫案例：爬取百度贴吧图片
文章更新于:2020-04-24 注1:打包后的程序(无需python环境)下载参见:https://ww.lanzous.com/ibvwref 注2:更多爬虫案例参见:https://github ...
Python爬虫案例：爬取携程评论
前言之前爬取美团,马蜂窝等网站的数据都挺顺利,大众点评(这个反爬机制有点麻烦)在磕磕绊绊中也算成功(重点是网页页数的变化和关键字的隐藏替换)但携程居然遇到了瓶颈. 主要是查看源代码时发现关键商户信息 ...
Python爬虫实战：爬取福利彩票双色球中奖结果数据
一.工程目录二.python爬虫三步骤 2.1 获取数据这里爬取数据使用request的库,使用get/post接口请求来做数据的获取即可. 数据获取一般有静态页面数据获取.动态数据获取.伪装请求 ...
Requests库实战(四)---爬取肯德基餐厅地址信息
功能:爬取查询后的肯德基餐厅的地址信息地址:http://www.kfc.com.cn/kfccda/storelist/index.aspx 亮点是post请求的参数有两组:查询字符串参数,表单数 ...

python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现

python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现相关推荐

最新文章

热门文章