利用爬虫获取app数据

前言：网页的数据一般可以直接通过network来查看其发送的请求url，爬取较为容易。但是对于app来说，不能直接看到它的url，就需要有抓包工具。

1 fiddler介绍

fiddler是一个web调试工具，能够抓取客户端和服务端之间的交互数据。fiddler是学习http协议的一个很好的工具。其本质是一台web代理服务器，也就是讲原本客户端和服务端直接是直接请求，现在是在它们中间加上了一个代理服务器进行中转。代理地址:127.0.0.1,端口:8888。当Fiddler启动后将自己变成一个代理服务器,这个代理服务器默认监听127.0.0.1:8888.然后打开IE的时候,IE浏览器会以127.0.0.1:8。退出的时候它会自动注销代理，这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。

2 工作原理

1）fiddler截获客户端发送的服务器https请求，两者之间此时还未建立握手
2）fiddler向服务器发送请求进行握手，获取到服务器的CA证书，用根证书公钥进行解密，验证服务器数据签名，获取到服务器CA证书公钥
3）fiddler伪造自己的CA证书，冒充服务器证书传递给客户端浏览器，客户端浏览器做跟fiddler一样的事
4）客户端浏览器生成https通信用的对称密钥，用fiddler伪造的证书公钥加密后传递给服务器，被fiddler截获
5） fiddler将截获的密文用自己伪造证书的私钥解开，获得https通信用的对称密钥
6）fiddler将对称密钥用服务器证书公钥加密传递给服务器，服务器用私钥解开后建立信任，握手完成，用对称密钥加密消息，开始通信
7） fiddler接收到服务器发送的密文，用对称密钥解开，获得服务器发送的明文。再次加密，发送给客户端浏览器。
8）客户端向服务器发送消息，用对称密钥加密，被fidller截获后，解密获得明文

3 手机抓包

fiddler已经可以获取到客户端发送的请求，那么可以将电脑设置成为手机的网络代理，手机的所有请求发送到电脑，电脑的请求发送给fiddler，fiddler发送给服务端。
具体的操作如下：
1）在fiddler中option选择capture https connects（捕获https连接），connections当中选择allow remote computers to connect。
2）确保手机和电脑位于同一个局域网中，连接在同一个wifi之下就可以，并且查看电脑的ip，将手机的网络代理设置成电脑ip，端口为8888。
3）通过浏览器访问ip:端口下载ca证书，并安装。
设置完成后，就在fiddler当中查看app发送的请求数据。