爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现

当下很多网站都有做自己的APP端产品，一个优秀的爬虫工程师，必须能够绕过难爬取点而取捷径，这是皆大欢喜的。但是在网上收罗和查阅了无数文档和资料，本人亲测无数次，均不能正常获取HTTPS数据，究其原因是手机端证书安装不正确所致，故编写文章以帮助后来的小伙伴。

当下抓包工具有Fiddler，Charles，wireshark等，手机APP最常用的是Fiddler和Charles，而wireshark适合作为测试用，下面我着重介绍Charles抓包工具的使用。

Charles是抓包工具中的神器，开发者可以使用它方便的抓取http请求，https请求，并支持修改、重放等功能。对于PC端和移动端都非常方便。

1、安装Charles：

　　随便在网上都可以下载到，这里不做介绍

2、安装好Charles之后，需要进行简单的配置：

　　注意：要确保手机和Charles在同一个WIFI环境中

　　使用ipconfig 查看电脑连接wifi所用的ip：

　　打开Charles，点击左上角Proxy->Proxy Settings,选中Enabel transparent HTTPproxying。点击ok。Port一般都是8888，这个要和下一步手机中的端口相同

3、配置好Charles后需要进行手机端的配置。

　　打开手机，设置->WIFI-->常按你手机连接的WIFI-->点击修改网络-->显示高级选择-->选择代理为手动-->主机名填你刚才ipconfig查询到的IP地址，端口号填8888，点击保存。ok，手机端设置好

4、重启Fiddler，此时可以抓取到http的包，如果您只需要抓取http数据，此时已经实现，如果您需要获取https包，请继续往下看

HTTPS请求的获取，需要进行对手机安装证书

1. 如下图，选择在移动设备上安装 Charles 根证书：

　　下载即可

　　然后点击SSL_Proxying下的第二个install，如下图：

2. 然后打开手机的浏览器，输入 browse to 后面的地址进行下载，安装即可

正常情况下此时可以正常抓取https数据包，如果此时不能正常抓取https包，不要着急，这里有绝招：在这里不能正常抓取的原因是你的手机上没有正常安装证书，这里我们使用模拟安卓的模拟器进行替代手机进行抓包，我使用的“天天模拟器”，在网上下载天天模拟器，并进行安装，安装后，配置步骤同手机一样。配置完成并成功安装证书后就可以完美的享受i的https抓包过程了。如您遇到其他问题或者不能正常抓包，欢迎您留言。

Fiddler抓包工具教程参考文档：

　　https://kb.cnblogs.com/page/130367/

　　http://www.jianshu.com/p/9e05a2522758

　 http://www.cnblogs.com/zhaoyanjun/p/7068905.html

爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现相关推荐

（实战项目一）手机App抓包爬虫
手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item):name = scrapy.Field()# 存储照片的名字imagesUrls = ...
使用Fiddler对手机APP抓包详细教程
使用Fiddler对手机APP抓包详细教程在实现用Fiddler对手机APP抓包过程中遇到了两个很棘手的问题,一个是设置代理后手机就上不了网,在手机上下载证书一直提示下载失败,第二个就是在fiddl ...
常用工具（一）——安卓手机app抓包burpsuite
手机app抓包工具:burpsuite 前提条件 1.保证手机与电脑在同一个无线局域网下 2.找到手机网络位置>打开详情>打开代理选择手动>主机名设为电脑IP(如图) 3.burp ...
Fiddler 网页采集抓包利器__手机app抓包
用curl技术开发了一个微信文章聚合类产品,把抓取到的数据转换成json格式,并在android端调用json数据接口加以显示: 基于weiphp做了一个掌上头条插件,也是用的网页采集技术:和一个创业 ...
手机APP抓包问题总结及相关解决方案
App抓包问题总结及相关解决方案文章目录 App抓包问题总结及相关解决方案前言 1 抓包工具的选择 2 常见问题解决 2.1 App正常运行,但是抓包工具中没有对应的请求记录 2.1.1 非HTT ...
在电脑上实现手机app抓包
首先下载一个手机模拟器个人推荐逍遥安卓这个模拟器下载手机抓包工具packet capture 下载地址 https://pan.baidu.com/s/1GUl2XfGzLx-CgcS4rskd ...
抓包精灵NetCapture APP抓包教程《齐全》
[软件名称]抓包精灵 NetCapture [下载地址][https://download.csdn.net/download/weixin_43145997/86262621]) 一.安装CA证书教 ...
使用Fiddler实现手机APP抓包
手机上无法直接查看网络请求数据,需要使用抓包工具.Fiddler是一个免费的web调试代理,可以用它实现记录.查看和调试手机终端和远程服务器之间的http/https通信. fiddler没有手机客户 ...
Spider爬虫--手机App抓包爬虫
需求:手机抓包和下载图片(图片重命名) 1. 抓包工具准备 1.1 Fiddler 该软件端口默认是8888 1.2 猎豹免费WiFi: 1.3 手机设置代理服务器使用命令ipconfig在wind ...

爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现

爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现相关推荐

最新文章

热门文章