爬虫进阶：使用fiddler抓取手机app数据

前期准备

手机安装了豆果美食app，安装了fiddler证书，WLAN做了手动代理，手机与电脑在同一局域网下

实战开始

打开手机，发现请求已经在更新了，我们只需要找就可以了，我们要的数据其实有一定特点，例如host应该是包含douguo这个东西的，然后后看到了api字眼，使用工具栏的find工具，发现找到响应请求了，使用json工具可以解码，找到了有用请求右键给他标记颜色

打开fiddler查看请求头和请求体

在这里，将https改为http就能正常返回了，经过实验可以删除一些不关紧要的参数，编写代码如下：

import requests
import pandas as pddata = {'client':'4','_vs':'2305',
}
headers = {"client": "4","version": "6922.2","device": "MI 6","sdk": "19,4.4.2","imei": "863254010448503","channel": "qqkp","resolution": "720*1280","dpi": "1.5","brand": "Xiaomi","scale": "1.5","timezone": "28800","language": "zh","cns": "3","carrier": "CMCC","user-agent": "Mozilla/5.0 (Linux; Android 4.4.2; MI 6  Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/30.0.0.0 Mobile Safari/537.36","reach": "1","newbie": "1","Content-Type": "application/x-www-form-urlencoded; charset=utf-8","Accept-Encoding": "gzip, deflate","Connection": "Keep-Alive","Host": "api.douguo.net",
}
url = 'http://api.douguo.net/recipe/flatcatalogs'res = requests.post(url=url,data=data,headers=headers).json()
print(res)
all_types = res['result']['cs']
data = [] # 存放数据
for one_type in all_types:  # 热门food_first_type = one_type['name']for i in one_type['cs']:  #food_second_type = i['name']for j in i['cs']:food_name = j['name']url = 'http:' + j['ju'].split(':')[-1]data.append({'food_first_type':food_first_type,'food_second_type':food_second_type,'name':food_name,'url':url})
df = pd.DataFrame(data)
print(data)
df.to_excel('数据.xlsx',index=False)

如果想获取菜谱和配料的话就继续找请求然后循环下去就好了

注，其他用到的请求：

爬虫进阶：使用fiddler抓取手机app数据相关推荐

Python爬虫+夜神模拟器+Fiddler抓取手机APP数据接口 -- 图文教程（霸霸看了都说好）
Fiddler的抓包原理 Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改. 代理就是 ...
使用Fiddler抓取手机APP数据包--360WIFI
使用Fiddler抓取手机APP流量--360WIFI 操作步骤: 1.打开Fiddler,Tools-Fiddler Options-Connections,勾选Allow remote compu ...
fiddler抓取手机app数据（手机开热点）
一.准备工作 1. 下载并安装fiddler抓包工具.手机提前安装好fiddler证书,这个可以看以往的文章二.手机配置手机打开热点,电脑连接成功后 1.首先需要知道电脑ip地址.电脑ip地址可通 ...
fiddler抓取手机APP数据
1.下载fiddler Fiddler官网下载地址:http://www.fiddler2.com/fiddl 2.安装fiddler 安装过程就是下一步下一步最后完成即可,安装好了以后需要配置一些内 ...
Fiddler抓取手机APP数据包
https://my.oschina.net/jhao104/blog/605963 第一步:下载神器Fiddler,下载链接: http://w.x.baidu.com/alading/anquan ...
用Fiddler抓取手机APP数据包
Fiddler下载地址 1.允许远程连接 2.允许监听https 3.重启Fiddler 这步很重要,不要忘了 4.手机配置用ipconfig命令查询当前PC的局域网IP 将手机连接上同一个WIFI ...
burpsuite抓取手机app数据包（通过笔记本开热点方式）
burpsuite抓取手机app数据包(通过笔记本开热点方式) 1,点击笔记本右下方网络图标,出现移动热点,右键转到设置进去之后设置热点名称密码,手机连接热点,笔记本查看连接设备的网段,这儿可以看到 ...
Fiddler抓取手机APP报文
Http协议代理工具有很多,比如Burp Suite.Charles.Jmeter.Fiddler等,它们都可以用来抓取APP报文,其中charles和Burp Suite是收费的,Jmeter主要用 ...
Fiddler利用Xposed框架+JustTrustMe抓取手机APP数据
文章目录 1. Xposed安装 2. JustTrustMe安装 3. 确保Fiddler在模拟器里配置此文只是针对Fiddler抓取APP数据失败情况下的方案,主要想解决的是安卓手机APP抓包H ...

爬虫进阶：使用fiddler抓取手机app数据

爬虫进阶：使用fiddler抓取手机app数据相关推荐

最新文章

热门文章