在scrapy里使用cookie获取美团外卖的数据

一、获取美团账号的cookie

登入账号在我的页面的Network找出第一个数据接口然后获取数据
记住要点一定要在账号页面的数据接口（也就是我的页面）获取cookie其他数据接口获取的cookie一律无效
（url：https://h5.waimai.meituan.com/login）

二、处理cookie的格式

在scrapy中cookie是不可以直接使用的需要转成字典格式

cookies = '里面是cookie'
sts = {i.split('=')[0]: i.split('=')[1] for i in cookies.split('; ')}
# 进行字典处理

三、带上所有参数请求数据接口

def parse(self, response):cookies = '里面放你获取来的cookie'sts = {i.split('=')[0]: i.split('=')[1] for i in cookies.split('; ')}data = {'startIndex': '0','sortId': '0','multiFilterIds': '','sliderSelectCode': '','sliderSelectMin': '','sliderSelectMax': '','geoType': '2','rankTraceId': '','platform': '3','partner': '4','originUrl': 'https://h5.waimai.meituan.com/waimai/mindex/home','riskLevel': '71','optimusCode': '10','firstcategoryid': '0','wm_latitude': '0','wm_longitude': '0','wm_actual_latitude': '28002454','wm_actual_longitude': '120647374','_token': 'eJxVj19vokAUxb8LrxBnBhgQkz6gQAsqiopSmj4ggoAd/jlUsdnvvkO7m+wmd3LP/d1zkjtfXGufuAmCSIVI4D6TlptwaARHCidw9Mo2ClKxhpUxhhozxP8zPISO7d7gJm+yPBawqLwPYMPmNyRiKKhQehf+kaLMavDYzMJllNbXCQAZHt2inET5iCQ57aJyFFcE/CBA8vKU3EFWkYQdxbEw2Q1hpKiCDBlCiiRIeBBYE0TtWyiC+EMkQfz2YCQgZQhfhjDr0Z9O/85L9nXmvObnkqnE6am/pN35oXvAieNUv7dBHu1TW/ec+U5Eay8+HPXpXJLPr2Ah84/GsRa+pj3Oj+5xZa+eu4Cukml/7cYk0e+lp5LxblwX1SYow+0q2NBUWuah5BXuR3aInVj30dZpZ7SX6460t+baerN9vl3ua+OwulVuDpZE9A334DwH1kuI9nHoqa/Npenc3pQxbsITjqTPi2VnKK4N0vcXPimAe0QmDLtucbFam/rH2hJfDuUp2FzkBroGSirNahzHvUmNUcxD4o/NtHVN3jb5CJ6UhUG71OzTEhbk5JeW2c81UvBwa5UBLwPR5u9rf2378Nyu1xTsyMMQj1TadTqQSnOz0UwLNLUHz2lehWbsmV6NSsVXXZLYFcyK+8cs6Kr2vpcrN/bahTzNlqvoWX964n79BmfTyck=',}yield scrapy.FormRequest(url=self.start_urls[0],callback=self.pop,cookies=sts,formdata=data)
def pop(self, response):print(response.text)

四、请求成功

总结：还是挺简单的主要是获取cookie一定要记住只能获取账号页面的cookie

在scrapy里使用cookie获取美团外卖的数据相关推荐

如何获取美团外卖推广链接
美团外卖的邀新奖励蛮高的,实测一单有10元,但是由于美团官方只有微信小程序和面对面海报分享物料,所以很多线报群的小伙伴不知道如何获取QQ端链接,其实很简单,方法如下: 一.获取美团外卖分享海报进入美 ...
外卖CPS小程序部署指南，个人获取美团外卖小程序跳转链接
外卖CPS小程序部署指南,个人获取美团外卖小程序跳转链接上次利用闲暇时间弄了个外卖CPS小程序,并把代码开源出来,还是有挺多小伙伴来领取源码的.不仅有同行的人,还有跨行的人,也摸索着搞出来小程序推一 ...
美团外卖大数据“杀熟”，程序员成了“接锅侠”，简直不讲武德！
美团回应十年前,我们收到的互联网公司的邀请函上,通常会有一句"我们希望成长为一家受人尊敬的互联网企业".因为这句话出现的过于高频,以至于我们把这当成了一种固定的格式和客套. 但十 ...
美团外卖流量数据的采集加工和应用
导读:本文介绍了美团外卖流量数据采集.流量数仓的建设以及典型的流量数据应用,其中重点介绍了流量数仓建设过程.在建设过程中需要关注的问题以及对应的解决方案. 01 流量数据采集 1. 美团外卖流量数据采 ...
个人如何获取美团外卖推广链接
美团/饿了么外卖CPS联盟返利公众号小程序裂变核心源码源代码地址 http://y.mybei.cn 步骤下载以上源代码到本地 http://y.mybei.cn 修改为你自己的微信小程序,打开 ...
vue里的axios获取本地的json数据
1.新建一个vue项目在终端安装axios命令 npm install --save axios vue-axios 2.在main.js里导入下面的代码 import axios from 'ax ...
美团外卖的用户画像怎么设计？用户画像全流程讲解！
陈旸 | 作者王兴说过,我们已经进入到互联网的下半场.在上半场,也就是早期的互联网时代,你永远不知道在对面坐的是什么样的人.那个年代大部分人还是 QQ 的早期用户.在下半场,互联网公司已经不新鲜了, ...
美团外卖用户评价文本研究
摘要近年来外卖行业发展迅猛,多家外卖平台竞争激烈,提升用户体验对维持用户体量至关重要,因此平台需要着眼于用户评价,了解用户需求,分析其内容并做出改善.本报告基于美团外卖用户评价数据,对中文文本执行了 ...
WeGeek Talk | 美团外卖
今天前来专栏分享的极客,是来自美团外卖的小程序前端团队. 在 2017 年 1 月 9 日,美团外卖作为首批小程序正式上线,截止到目前,美团外卖小程序 DAU 已近千万.但事实上,美团外卖早期时更多的 ...
快手接口分析(一)——cookie获取
以下几篇文章主要围绕快手网页版协议接口分析. 主要包括: 登录cookie获取关注点赞视频数据评论数据开篇先将一部分结论进行说明: 通过协议进行批量关注(一个账号一天最多关注用户120) 批 ...

在scrapy里使用cookie获取美团外卖的数据

一、获取美团账号的cookie

二、处理cookie的格式

三、带上所有参数请求数据接口

四、请求成功

在scrapy里使用cookie获取美团外卖的数据相关推荐

最新文章

热门文章