python爬虫之路【2】fiddle手机抓包

这次用的是fiddle抓手机的包，简单总结以下python爬手机数据

重点是思路和难点的处理

环境：win10，fidlle，python3.7，手机模拟器

在电脑上装了个手机模拟器，然后配置好证书之类的就开始抓包（百度配置fiddle）

其中遇见的主要难点：

分析请求

在返回的json数据中，分析请求的json数据，查找里面有没有想要的数据

然后把header复制下来requests请求得到json数据

编码问题

得到的json数据用requests.text发现是ascii编码，里面的中文全被转换了

用以下方法可以解决

name = r"\u6697\u88d4\u5251\u9b54"
print(name.encode('ascii').decode('unicode_escape'))

处理数据

得到json数据后把数据转换为字典来处理

方法1：eval(dic)

方法2：json.load(dic)

用方法2处理时，编码右边为ascii了，所以我用的是方法1

最后就是简单的数据提取了，然后存入文件即可

代码

import requests
import jsondef main():# name = r"\u6697\u88d4\u5251\u9b54"# print(name.encode('ascii').decode('unicode_escape'))headers = {'Referer': 'http://api.maxjia.com/','User-Agent': 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 ApiMaxJia/1.0','Cookie': 'phone_num=0101010101010101010101','Host': 'api.maxjia.com','Connection': 'Keep-Alive','Accept-Encoding': 'gzip'}url = 'http://api.maxjia.com/api/item/stat/v2/?&game_type=dota2&max_id=0&imei=864895024087254&os_type=Android&os_version=4.2.2&version=4.0.9&lang=zh-cn 'res = requests.get(url, headers=headers)text = res.text.encode().decode('unicode_escape')print(text)# str转换为dicitem = eval(text)# 筛选索要的数据ls = item['result']['stat']dic = {}# 存入字典for i in ls:dic.update({i['name']: i['match_count']})# 字典排序sorted(dic.items(), key=lambda x: x[1])print(dic)# 存入文件save_to_file(dic)def save_to_file(dic):with open('1.txt', 'w', encoding='utf-8') as f:print(type(json.dumps(dic, ensure_ascii=False)))f.write(json.dumps(dic, ensure_ascii=False))f.close()main()

python爬虫之路【2】fiddle手机抓包相关推荐

Python爬虫新手教程：实战APP抓包，抖音的小姐姐等着我！
APP抓包前面我们了解了一些关于 Python 爬虫的知识,不过都是基于 PC 端浏览器网页中的内容进行爬取.现在手机 App 用的越来越多,而且很多也没有网页端,比如抖音就没有网页版,那么上面的视 ...
python爬虫登录微博_【新手学Python爬虫】微博网页PC端抓包分析和模拟登录
本帖最后由杀猪用牛刀于 2020-4-2 23:59 编辑首先我是一个python爬虫的新手,模拟登录也是我看b站模拟登录教学加自己琢磨完成的,其中很多分析很粗糙,还希望大家多多包涵:lol 话 ...
使用Fiddle手机抓包、捕获流量数据介绍
Fiddler通过代理的方式获取程序http/https通讯的数据,可以用其检测所有客户端和服务器的交互情况及http请求,支持监视.设置断点.甚至可以修改输入输出数据等功能.同时也可以使用fiddl ...
python自动抓包手机_Python爬虫入门：教你通过Fiddler进行手机抓包！
哟哟哟~ hi起来 everybody Python爬虫入门:教你通过Fiddler进行手机抓包! 今天要说说怎么在我们的手机抓包进群:700341555获取Python爬虫入门学习资料! Pyth ...
python抓包教程_Python爬虫入门技能：教你通过 Fiddler 进行手机抓包！
哟哟哟~ hi起来 everybody image 今天要说说怎么在我们的手机抓包学习Python中有不明白推荐加入交流群号:864573496群里有志同道合的小伙伴 ,互帮互助,群里有不错的视频 ...
python自动抓包手机_python爬虫入门02：教你通过 Fiddler 进行手机抓包-Go语言中文社区...
哟~哟~哟~ hi起来 everybody 今天要说说怎么在我们的手机抓包通过我们知道了 HTTP 的请求方式以及在 Chrome 中摸清了一些套路但是除了对数据进行解析之外有时候我们想 ...
python自动抓包手机_python爬虫入门02：教你通过 Fiddler 进行手机抓包
哟~哟~哟~ hi起来 everybody 今天要说说怎么在我们的手机抓包通过我们知道了 HTTP 的请求方式以及在 Chrome 中摸清了一些套路但是除了对数据进行解析之外有时候我们想 ...
抓取手机https_python爬虫入门02：教你通过 Fiddler 进行手机抓包
哟~哟~哟~ hi起来 everybody 今天要说说怎么在我们的手机抓包通过 python爬虫入门01:教你在 Chrome 浏览器轻松抓包我们知道了 HTTP 的请求方式以及在 Chrome ...
用Python实现手机抓包，获取当当图书差评数据！
在这个万物互联的时代,手机端(App).电脑端(Web),连接着你我他. 本次学习了手机抓包的相关知识,了解了Charles-mitmproxy-Appium的基本使用,通过对当当图书评论的爬取,得以 ...

python爬虫之路【2】fiddle手机抓包

环境：win10，fidlle，python3.7，手机模拟器

其中遇见的主要难点：

代码

python爬虫之路【2】fiddle手机抓包相关推荐

最新文章

热门文章