我不就是吃点肉,应该没事吧——爬取一座城市里的烤肉店数据(附完整Python爬虫代码)
写在前面的一点屁话:
对于肉食主义者,吃肉简直幸福感爆棚!特别是烤肉,看着一块块肉慢慢变熟,听着烤盘上“滋滋”的声响,这种期待感是任何其他食物都无法带来的。如果说甜点是“乍见之欢”,那肉则是“久处不厌”。
为了造福“烤肉控”们,今天就用Python爬取一座城市的烤肉店数据,选出最适合的一家烤肉店!
准备工作
环境
- python 3.6
- pycharm
- requests >>> 发送请求 pip install requests
- csv >>> 保存数据
了解爬虫最基本的思路
一. 数据来源分析
- 确定我们爬取的内容是什么?
爬取店铺数据 - 去找这些东西是从哪里来的
通过开发者工具进行抓包分析, 分析数据来源
二. 代码实现过程 - 发送请求, 对于找到数据包发送请求
- 获取数据, 根据服务器给你返回的response数据来的
- 解析数据, 提取我们想要的内容数据
- 保存数据, 保存到csv文件
- 多页爬取, 根据url地址参数变化
代码实现过程
- 发送请求
url = 'https://apimobile.某tuan.com/group/v4/poi/pcsearch/70'
data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': 32,'cateId': '-1','q': '烤肉','token': '4MJy5kaiY_0MoirG34NJTcVUbz0AAAAAkQ4AAF4NOv8TNNdNqymsxWRtJVUW4NjQFW35_twZkd49gZqFzL1IOHxnL0s4hB03zfr3Pg',
}
# 请求头 都是可以从开发者工具里面直接复制粘贴
# ser-Agent: 浏览器的基本信息
headers = {'Referer': 'https://chs.某tuan.com/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}
# 发送请求
response = requests.get(url=url, params=data, headers=headers)
200 表示请求成功 状态码 403 你没有访问权限
2. 获取数据
print(response.json())
3. 解析数据
result = response.json()['data']['searchResult']
# [] 列表 把里面每个元素都提取出来 for循环遍历
for index in result:# pprint.pprint(index)# f'{}' 字符串格式化index_url = f'https://www.某tuan.com/meishi/{index["id"]}/'# ctrl + Ddit = {'店铺名称': index['title'],'店铺评分': index['avgscore'],'评论数量': index['comments'],'人均消费': index['avgprice'],'所在商圈': index['areaname'],'店铺类型': index['backCateName'],'详情页': index_url,}csv_writer.writerow(dit)print(dit)
4. 保存数据
f = open('烤肉数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['店铺名称','店铺评分','评论数量','人均消费','所在商圈','店铺类型','详情页',
])
csv_writer.writeheader() # 写入表头
5.翻页
for page in range(0, 1025, 32):url = 'https://apimobile.某tuan.com/group/v4/poi/pcsearch/70'data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': page,'cateId': '-1','q': '烤肉','token': '4MJy5kaiY_0MoirG34NJTcVUbz0AAAAAkQ4AAF4NOv8TNNdNqymsxWRtJVUW4NjQFW35_twZkd49gZqFzL1IOHxnL0s4hB03zfr3Pg',}
运行代码得到数据
更多资料可加Q群点击此处
完整代码
f = open('烤肉数据1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['店铺名称','店铺评分','评论数量','人均消费','所在商圈','店铺类型','详情页',
])
csv_writer.writeheader() # 写入表头for page in range(0, 1025, 32):url = 'https://apimobile.某tuan.com/group/v4/poi/pcsearch/70'data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': page,'cateId': '-1','q': '烤肉','token': '4MJy5kaiY_0MoirG34NJTcVUbz0AAAAAkQ4AAF4NOv8TNNdNqymsxWRtJVUW4NjQFW35_twZkd49gZqFzL1IOHxnL0s4hB03zfr3Pg',}headers = {'Referer': 'https://chs.某tuan.com/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'}# 发送请求response = requests.get(url=url, params=data, headers=headers)# 200 表示请求成功 状态码 403 你没有访问权限result = response.json()['data']['searchResult']# [] 列表 把里面每个元素都提取出来 for循环遍历for index in result:# pprint.pprint(index)# f'{}' 字符串格式化index_url = f'https://www.meituan.com/meishi/{index["id"]}/'# ctrl + Ddit = {'店铺名称': index['title'],'店铺评分': index['avgscore'],'评论数量': index['comments'],'人均消费': index['avgprice'],'所在商圈': index['areaname'],'店铺类型': index['backCateName'],'详情页': index_url,}csv_writer.writerow(dit)print(dit)
我不就是吃点肉,应该没事吧——爬取一座城市里的烤肉店数据(附完整Python爬虫代码)相关推荐
- 天一冷,就想大口吃肉,爬取一座城市里的烤肉店数据(附完整Python爬虫代码)
前言 天一冷,就想吃肉,贴好秋膘才能好过冬.对于肉食主义者,吃肉简直幸福感爆棚!特别是烤肉,看着一块块肉慢慢变熟,听着烤盘上"滋滋"的声响,这种期待感是任何其他食物都无法带来的.如 ...
- 谁还不爱吃肉?现在就教你采集一座城市里的烤肉店数据(附完整代码)
文章目录 前言 正文 准备环境 了解爬虫最基本的思路 一. 数据来源分析 二. 代码实现过程 代码实现过程 发送请求 2.获取数据 3.解析数据 4.解析数据 5.翻页 运行代码得到数据 完整代码 前 ...
- Python采集烤肉店数据,又是一个外包项目,努力挣钱,实现吃肉自由
前言 哈喽啊,铁子们,现在好饿好想吃肉啊,实在有点受不了了,刚刚就看了某软件上的烤肉店,越看越饿,但是又不知道吃哪家好,索性就用Python采集一下这些烤肉店的数据吧 准备环境 python 3.6 ...
- 用Python爬了225座城市6758家餐厅,窥探国人吃小龙虾的不同姿势(附代码)
导读:世界杯激战正酣,大家在欣赏精彩比赛的同时,怎能少了美食的陪伴,我们今天就来聊聊世界杯的好丽友--小龙虾. 01 获得数据 本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅: 从上图中可以看出 ...
- 32个Python爬虫项目让你一次吃到撑
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
- 被鱼刺扎一下就没了条手臂?这种“吃人肉”的细菌身边并不罕见
创伤弧菌,一种会"吃人肉"却鲜少人知的病原细菌. 它嗜盐如命,既能栖息在海里,亦能潜伏在美味海鲜之中. 诸如被鱼刺扎一下半条手臂就没了.小伙生吃海鲜死亡.海边游玩险些丧命等等骇人听 ...
- 我吃的肉里都有量子力学了?
某天在超市闲逛,尽管小编不擅长烹饪,但还是被琳琅满目的厚切牛排和羊腿肉吸引,那种新鲜的红色让人‧‧‧,而且你看隔壁的三文鱼,正红色.西瓜红色.暖橘色.浅粉色--一大片花里胡哨的红,那种色彩传递的鲜嫩感 ...
- 程序人生 - 猫吃鸡胸肉的好处?
首先,鸡胸肉的脂肪含量比较低,能够很好的控制猫咪脂肪的摄入,其次,鸡胸肉含有丰富的蛋白质以及氨基酸.维生素A等营养元素,能够帮助猫咪很好的补充身体所需要的营养物质,同时,鸡胸肉还能刺激猫咪的味觉,使猫 ...
- 不选真肉,吃植物肉,是不是在交智商税?
某一天,很可能你点了一份宫保鸡丁,却没注意到鸡丁其实是植物肉做的. 「很多消费者吃到了植物肉做的食品,他自己却没有意识到这不是真的肉.」植物肉公司 Hey Maet 创始人洪小齐说,「在营养成分一致, ...
最新文章
- RESTful编程究竟是什么?
- linux 时钟同步 chrony 简介
- Nginx全局块的user指令
- Requests 2.18.1文档
- Error:Could not find appcompat-v7.aar (com.android.support:appcompat-v7:26.1.0). Searched in the fol
- 【转】WebApi 身份认证解决方案:Basic基础认证
- Dubbo 3.0 前瞻系列 | 2020双11,Dubbo3.0 在考拉的超大规模实践
- php事件编程,php如何实现基于事件驱动的网络编程
- css margin
- 自动适配autolayout
- STL vector使用方法介绍
- 元宇宙NFT商城系统|艺术数字藏品平台源码部署
- 2022年信息安全工程师考试知识点:计算机网络基本知识
- 如何下载网页php源文件,php如何实现对各种文件下载
- 名帖234 俞和 行书《云锦帖》
- erc20根据合约地址获取所有交易记录
- 【shell】shell创建虚拟环境virtualenv(-bash: virtualenv: command not found)
- centos8搭建maven私服(含nexus-3.28.1-01.tar.gz下载链接)
- Java 用Freemarker完美导出word文档(带图片)
- 回归预测 | MATLAB实现PCR(主成分回归)多输入单输出
热门文章
- 20几分钟完成硬件攒机高手脱变
- AI智能交易,EA量化交易,可以代替人工有稳定的收益吗?
- 新能源车“乱战时代”,车企们在争什么?
- matlab编程是用c语言吗,matlab调用c语言编程.doc
- Maven使用指南(超详细)
- 出现The 'microsoft.jet.oledb.4.0' provider is not registered on the local machin 问题解决方案
- 天龙mysql ip修改_天龙八部服务端IP修改配置
- Ubuntu系统修改主机名和用户名
- Dockerfile镜像构建
- 地图与定位(二)系统地图