python读取fiddler_Python3.x+Fiddler抓取APP数据

随着移动互联网的市场份额逐步扩大，手机APP已经占据我们的生活，以往的数据分析都借助于爬虫爬取网页数据进行分析，但是新兴的产品有的只有APP，并没有网页端这对于想要提取数据的我们就遇到了些问题，本章以豆果美食APP为例给大家演示如何提取手机的数据。

安装Fiddler

安装过程就是下一步下一步最后完成即可，安装好了以后需要配置一些内容

设置允许抓取HTTPS信息包

打开下载好的fiddler，找到 Tools -> Options，然后在HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。这样，fiddler就会抓取到HTTPS的信息包

设置允许外部设备发送HTTP/HTTPS到fiddler

在Connections选项栏下勾选Allow remote computers to connect

连通手机与电脑

想要抓取手机APP上的数据一大难点就在于，你并不知道他们数据请求的接口地址是多少，在PC端想要抓取一个网站的数据只要访问网址，用抓包工具就可以知道了，所以我们第一步先把环境配置好，就是在手机上访问地址(发送任何网络请求)都可以在电脑上通过Fiddler抓取到。

第一步：先保障手机和电脑上面连接网络，我这里是电脑连的网线，我单独安装了一个Wi-Fi共享精灵，手机(iphone6s)连接上共享出去的wifi

第二步：查看电脑IP地址

先在电脑上打开cmd，输入ipconfig查看IP地址

这里要注意IP地址用的是无线网络连接这个IP地址，不是本地连接的IP地址(坑点)

第三步：手机设置HTTP代理

打开手机无线网络连接，选择已经连接的网络连接，点击一个小圆圈叹号进入可以看到下图，选择配置代理，进入后把刚刚的IP地址输入进去，端口就是Fiddler中设置的8888即可。

第四步：手机和电脑端安装证书

电脑端访问：http://localhost:8888/进行安装

手机访问电脑的IP地址加端口8888即可，我这里的地址是：http://192.168.23.1:8888

第五步：测试通过

最后就是来测试下，打开手机随便一个APP，去访问里面的内容，这时打开fiddler可以看到所发出的网络请求，我这里打开的是豆果美食APP

分析手机APP请求地址

通过观察fiddler中的请求可以发现http://api.douguo.net/persona...，这个就是请求首页中的部分数据，直接把地址复制到网页中可以看到返回的JSON数据

其实这部分内容是最重要也是最困难的一个环节，考验你工作年限的时候到了，要从中剥离出正确的API请求，并分析API中的数据结构，为后续数据分析做准备。

Python3.x爬虫获取数据

这里直接通过urllib.request进行请求即可，这里并没有使用框架，代码如下：

import urllib.request

# 向指定的url地址发送请求，并返回服务器响应的类文件对象

response = urllib.request.urlopen("http://api.douguo.net/personalized/home/0/20")

# 服务器返回的类文件对象支持Python文件对象的操作方法

# read()方法就是读取文件里的全部内容，返回字符串

html = response.read()

# 打印响应内容

print(html.decode("unicode_escape"))

运行代码结果打印数据如下

后续对这个数据是存储，还是分析就是后续的操作了，到此我们就已经完成了从手机APP中提取数据的步骤

python读取fiddler_Python3.x+Fiddler抓取APP数据相关推荐

利用Fiddler抓取APP数据
利用Fiddler抓取APP数据简杨君关注 2016.11.03 18:51* 字数 368 阅读 762评论 0喜欢 2 软件:Fiddler 系统:Windows10 手机:MX4 PRO F ...
Python3.x+Fiddler抓取APP数据
随着移动互联网的市场份额逐步扩大,手机APP已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有APP,并没有网页端这对于想要提取数据的我们就遇到了些问题,本章以 ...
fiddler设置中文版本_Python3.x+Fiddler 抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问题, ...
Fiddler抓取APP数据包实践教程
本章节教程,主要介绍一下如何,抓取手机上的app数据. 为了详细介绍整个配置过程,本文使用MuMu模拟器来演示整个过程. 目录一.安装模拟器软件二.安装APP软件三.Fiddler设置远程抓包步 ...
网络爬虫-神器fiddler抓取app数据
才接触爬虫的时候,我们通常使用的是浏览器的开发者工具-F12里的NetWork对网页进行抓包,但是这有一个缺点,就是如果网页加载了很多乱七八糟的东西,比如广告啊,各种各样的js之类的时候,NewWor ...
自动抓取app数据技术方案总结
在app运营过程中,有时候我们需要了解app中的一些数据,比如:我们自己开的网店,有时候app官方提供的数据并不能满足我们的实际需求,这时就需要使用工具来自动抓取我们自己店铺中有用的数据.一般有两种实 ...
Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...
python爬取app、返回的是加密数据_Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...
抓取app数据教程–fiddler抓包数据截取-薄荷app为例
转载请注明出处:抓取app数据教程–fiddler抓包数据截取-薄荷app为例准备工具 1.手机(安装有想要抓取数据app的iphone或者android) 2.fiddler抓包工具安装fidd ...
python123 app下载_Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...

python读取fiddler_Python3.x+Fiddler抓取APP数据

python读取fiddler_Python3.x+Fiddler抓取APP数据相关推荐

最新文章

热门文章