谁还不爱吃肉?现在就教你采集一座城市里的烤肉店数据(附完整代码)
文章目录
- 前言
- 正文
- 准备环境
- 了解爬虫最基本的思路
- 一. 数据来源分析
- 二. 代码实现过程
- 代码实现过程
- 发送请求
- 2.获取数据
- 3.解析数据
- 4.解析数据
- 5.翻页
- 运行代码得到数据
- 完整代码
前言
嗨嗨,大家好呀,吃饭了吗?吃饭了吗!建议你们先吃饭再看这篇文章哦!
对于肉食主义者,今天中午我美美的吃了烤肉!就是时间有点赶,没慢慢享受,嘿嘿放图!
文章代码含 ‘ 平台原因不能打出 ’ 的部分代码被删除了。可以私信找我 ~
再看看以前的!
不知道你们吃烤肉是专挑一家,还是说想尝试不同家的 ~
我就是后者,但是每次挑选的时候就会有一点点苦恼
所以为了造福“烤肉控”们,我们今天就用Python爬取一座城市的烤肉店数据,选出最适合的一家烤肉店!
正文
文章代码含 ‘ 平台原因不能打出 ’ 的部分代码被删除了。可以私信找我 ~
准备环境
- python 3.6
- pycharm
- requests >>> 发送请求 pip install requests
- csv >>>保存数据
了解爬虫最基本的思路
一. 数据来源分析
- 确定我们爬取的内容是什么?
爬取店铺数据 - 去找这些东西是从哪里来的
通过开发者工具进行抓包分析, 分析数据来源
二. 代码实现过程
发送请求, 对于找到数据包发送请求
获取数据, 根据服务器给你返回的response数据来的
解析数据, 提取我们想要的内容数据
保存数据, 保存到csv文件
多页爬取, 根据url地址参数变化
代码实现过程
发送请求
文章代码含 ‘ 平台原因不能打出 ’ 的部分代码被删除了。可以私信找我 ~
需要源码、教程,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=9I8fvzhm 这里还有学习资料与免费课程领取
url = 'mou团'
data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': 32,'cateId': '-1','q': '烤肉','平台原因不能打出',
}
# 请求头 都是可以从开发者工具里面直接复制粘贴
# ser-Agent: 浏览器的基本信息
headers = {'Referer': '某tuan','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}
# 发送请求
response = requests.get(url=url, params=data, headers=headers)
200 表示请求成功 状态码 403 你没有访问权限
2.获取数据
print(response.json())
3.解析数据
result = response.json()['data']['searchResult']
# [] 列表 把里面每个元素都提取出来 for循环遍历
for index in result:# pprint.pprint(index)# f'{}' 字符串格式化index_url = f'某tuan'# ctrl + Ddit = {'店铺名称': index['title'],'店铺评分': index['avgscore'],'评论数量': index['comments'],'人均消费': index['avgprice'],'所在商圈': index['areaname'],'店铺类型': index['backCateName'],'详情页': index_url,}csv_writer.writerow(dit)print(dit)
4.解析数据
f = open('烤肉数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['店铺名称','店铺评分','评论数量','人均消费','所在商圈','店铺类型','详情页',
])
csv_writer.writeheader() # 写入表头
5.翻页
for page in range(0, 1025, 32):url = '某tuan'data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': page,'cateId': '-1','q': '烤肉','平台原因不能打出',}
文章代码含 ‘ 平台原因不能打出 ’ 的部分代码被删除了。可以私信找我 ~
运行代码得到数据
完整代码
文章代码含 ‘ 平台原因不能打出 ’ 的部分代码被删除了。可以私信找我 ~
需要源码、教程,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=9I8fvzhm 这里还有学习资料与免费课程领取
f = open('烤肉数据1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['店铺名称','店铺评分','评论数量','人均消费','所在商圈','店铺类型','详情页',
])
csv_writer.writeheader() # 写入表头for page in range(0, 1025, 32):url = '某tuan'data = {'uuid': '6e481fe03995425389b9.1630752137.1.0.0','userid': '266252179','limit': '32','offset': page,'cateId': '-1','q': '烤肉',',}headers = {'Referer': '某tuan','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'}# 发送请求response = requests.get(url=url, params=data, headers=headers)# 200 表示请求成功 状态码 403 你没有访问权限result = response.json()['data']['searchResult']# [] 列表 把里面每个元素都提取出来 for循环遍历for index in result:# pprint.pprint(index)# f'{}' 字符串格式化index_url = f'https://www.meituan.com/meishi/{index["id"]}/'# ctrl + Ddit = {'店铺名称': index['title'],'店铺评分': index['avgscore'],'评论数量': index['comments'],'人均消费': index['avgprice'],'所在商圈': index['areaname'],'店铺类型': index['backCateName'],'详情页': index_url,}csv_writer.writerow(dit)print(dit)
好啦,今天的分享到这里就结束了 ~
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/
谁还不爱吃肉?现在就教你采集一座城市里的烤肉店数据(附完整代码)相关推荐
- 我不就是吃点肉,应该没事吧——爬取一座城市里的烤肉店数据(附完整Python爬虫代码)
写在前面的一点屁话: 对于肉食主义者,吃肉简直幸福感爆棚!特别是烤肉,看着一块块肉慢慢变熟,听着烤盘上"滋滋"的声响,这种期待感是任何其他食物都无法带来的.如果说甜点是" ...
- 天一冷,就想大口吃肉,爬取一座城市里的烤肉店数据(附完整Python爬虫代码)
前言 天一冷,就想吃肉,贴好秋膘才能好过冬.对于肉食主义者,吃肉简直幸福感爆棚!特别是烤肉,看着一块块肉慢慢变熟,听着烤盘上"滋滋"的声响,这种期待感是任何其他食物都无法带来的.如 ...
- Python采集烤肉店数据,又是一个外包项目,努力挣钱,实现吃肉自由
前言 哈喽啊,铁子们,现在好饿好想吃肉啊,实在有点受不了了,刚刚就看了某软件上的烤肉店,越看越饿,但是又不知道吃哪家好,索性就用Python采集一下这些烤肉店的数据吧 准备环境 python 3.6 ...
- 得了脂肪肝还不能吃肉
常常听医生说得了脂肪肝的人要"管住嘴.迈开腿".那么得了脂肪肝,就不能吃脂肪了吗? 脂肪肝患者确实应该限制脂肪的摄入,但也不能矫枉过正,一点油脂都不沾. 要知道,适量脂肪为人体健 ...
- 还发愁项目经验吗?基于Netty实现分布式RPC框架[附完整代码]
写给大家的话 最近我收到很多读者的来信,对如何学习分布式.如何进行项目实践和提高编程能力,存在很多疑问. 分布式那么难,怎么学?为什么看了那么多书还是掌握不了? 开源的框架比如Dubbo代码太多了,完 ...
- 中国皇帝定下佛教戒律:僧人不准吃肉
麦当劳里点餐的和尚 和尚可不可以吃肉,是根据不同情况,分别对待,不搞一概而论. 素食之风,古已有之,佛教传入中国之前,就已经十分盛行.古时吃素,倒不是由于当时经济落后,没有肉吃,只好以瓜菜裹腹.而是那 ...
- 10款辅食做法,解决宝宝不爱吃蔬菜的难题
夏季,蔬菜频繁摆上餐桌,但是很多妈妈困扰于"宝宝不爱吃蔬菜".为此<时尚育儿>论坛贴出10款蔬菜辅食菜谱,一起来学习吧! 宝宝不喜欢蔬菜4大原因 1.宝宝本能拒绝蔬菜中 ...
- 你的用户珍贵么?杀鸡吃肉和养鸡吃蛋的选择……
最近越来越感受到,"用户是否珍贵",是考虑产品的各种策略时一个非常重要的因素. 如下图,左侧,是对于"非珍贵用户"的策略,右侧,是针对"珍贵用户&qu ...
- 2019团体程序设计天梯赛L1 L1-1 PTA使我精神焕发L1-2 6翻了L1-3 敲笨钟L1-4 心理阴影面积L1-5 新胖子公式L1-6 幸运彩票L1-7 吃鱼还是吃肉
L1-1 PTA使我精神焕发 (5 分) 以上是湖北经济学院同学的大作.本题就请你用汉语拼音输出这句话. 输入格式: 本题没有输入. 输出格式: 在一行中按照样例输出,以惊叹号结尾. 输入样例: 无 ...
最新文章
- Docker 入门系列(2)- Docker 镜像, 免 sudo 使用 docker 命令、获取查看、修改镜像标签、查找删除创建镜像、导入导出镜像
- Android4.0 Design之UI设计易犯的错误2
- web service 基础学习
- Python Socket TypeError: a bytes-like object is required, not 'str' 错误提示
- 创建ACFS集群文件系统(命令方式)
- html怎样设置字体不能被选中,css设置:图片文字等不能被选择
- android 自定义checkBox的样式
- 求助关于系统日志的解决方案
- 003、关于Integer.valueOf(sss)与Integer.parseInt(sss)性能
- tensorflow动态设置trainable
- Eplan教学视频合集-百度网盘-收集于网络,供参考
- sql优化与索引使用
- IntelliJ IDEA中项目的包和目录结构显示设置
- Qt QTableWidget表格控件的用法(非常详细)
- 微信小程序wepy自定义card控件封装
- 210学习日记(18)_ARM基础知识
- 如何取出某一用户的密码,再原封不动的改回去?
- 智能外呼系统助力全行业销售自动化
- 智能工厂数字孪生的运用
- ardupilot-3.6.10——航点导航WPNav之样条曲线(Spline Navigation)