python怎样获得手机软件app数据_如何进行手机APP的数据爬取？

平时我们的爬虫多是针对网页的，但是随着手机端APP应用数量的增多，相应的爬取需求也就越来越多，因此手机端APP的数据爬取对于一名爬虫工程师来说是一项必备的技能。我们知道，网页爬取的时候我经常使用F12开发者工具或者fiddler之类的工具来帮助我们分析浏览器行为。那对于手机的APP该如何使用呢？同样的，我们也可以使用fiddler来分析。好了，本篇博主将会给大家介绍如何在电脑端使用fiddler进行手机APP的抓包。

首先了解一下fiddler(百度百科)：Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件，这些都可以让你胡乱修改的意思)。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

完成此项工作的整个流程可分为如下几个步骤。

1. 下载fiddler抓包工具

fiddler的官方下载链接：https://www.telerik.com/downl...

安装步骤没什么特别，常规下一步完成即可。

2. 设置fiddler

这里有两点需要说明一下。设置允许抓取HTTPS信息包

操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。

设置允许外部设备发送HTTP/HTTPS到fiddler

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。

好了，需要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。

可以使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。

好了，下面我们开始手机端的设置。

手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。

进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。

进入后，填写上面记住的ip地址和端口号，确定保存。

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。

以上就简单完成了所有的操作，最后我们测试一下是否好用。

5. 手机端测试

就以知乎APP为例，在手机上打开知乎APP。下面是电脑上fiddler的抓包结果。

结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。

原创不易，来波点赞支持。

关注微信公众号 Python数据科学，回复666获取100g学习资料。

python怎样获得手机软件app数据_如何进行手机APP的数据爬取？相关推荐

苹果手机软件升级密码_金太阳手机软件升级啦！全面支持科创板行情和交易！...
1.支持查看科创板行情:点击"行情"-"市场"-"科创板"即可查看. (1) 新增科创板行情分类新增"科创板"行情分类 ...
python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python爬虫公众号_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
Java_Hive自定义函数_UDF函数清洗数据_清洗出全国的省份数据
Java_Hive_UDF函数清洗数据_清洗出全国的省份数据最近用Hadoop搞数据清洗,需要根据原始的地区数据清洗出对应的省份数据,当然我这里主要清洗的是内陆地区的数据,原始数据中不包含港澳台地区 ...
python微信爬取教程_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
python微信公众号推送_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
数据藏在json文件中，如何爬取---以王者荣耀官网为例
此前写了一个爬虫基础案例---爬取王者荣耀英雄与技能介绍 python爬虫------王者荣耀英雄及技能爬取并保存信息到excelhttps://blog.csdn.net/knighthood200 ...
visual studio可以开发app吗_个人能开发App软件吗？从想法到App开发完成，我只用了三天...
我有一个App的创意,该怎么实现的呢?只能花费几十万成本找App开发公司进行开发?自己能不能制作App软件?其实现在借助一些全新的App软件开发工具,普通人自己也能制作出App软件. 这里给大家分享一 ...

python怎样获得手机软件app数据_如何进行手机APP的数据爬取？

python怎样获得手机软件app数据_如何进行手机APP的数据爬取？相关推荐

最新文章

热门文章