用Fiddler、Charles和mitmproxy进行手机抓包的配置教程
写爬虫时,有些数据pc端并不能提供我们需要的数据例如抖音,就需要对手机端数据进行抓取,目前来说比较常用的app抓包软件:Fiddler,mitmproxy,Charles,这些软件在进行数据抓包之前都需要进行相应的代理配置:下载,保证pc端跟手机端在同一个局域网内,证书下载,端口配置等。
利用Fiddler代理配置方法
首先在在官网将Fiddler下载,下载地址:http://www.telerik.com/fiddler;下载到本地之后,按正常的安装流程即可。安装后打开的页面如下:
Fiddler抓取Android/Iphone的数据包,第一步,要保证电脑端Fiddler手机端跟电脑端在同一局域网,在这种情况下才能够实现Fiddler抓取手机端的数据;同一局域网就是有两台或以上的设备连接,并拥有相同IP网段的网络,例如pc端跟手机端连接同一个wifi,或者说电脑开热点手机连接。
第二步,对Fiddler进行相关设置:打开【Fiddler -> Tools ->options】;然后选中【Connections】选项 ,图中设置手机端需要连接Fiddler的服务器端口(一般默认即可),下面对选项[【Allow remote computers to connect】 (允许远程发送请求)进行勾选。
打开【Fiddler -> Tools -> options】;选择HTTPS选项,勾选【Decrypt HTTPS traffic】 下面选择【from all process】选项,用来抓取手机端的https请求,如果想抓取https请求还需要在手机端安装安全证书。
第三步,手机端安装证书,先找到电脑的ip地址,在fiddler上方菜单栏里点击Online就能看到电脑的ip地址;用手机访问地址:http://IP地址:代理端口,点"FiddlerRoot certificate" 然后安装证书,例如:http://192.168.1.173:8888;有的手机在安装证书之前需要设置锁屏密码(例如小米),否则会安装不上。
接下来就是对对手机端的wifi修改代理设置;打开连接中的wifi,点记下面的代理切换到手动,以pc端的ip名为主机名,端口为Fiddler设置的端口进行填写,然后点击确定即可。
配置成功结果如下:
利用Charles代理配置方法
Charles官方下载地址:https://www.charlesproxy.com/;下载Charles,然后一键安装即可,下载后打开的页面如下,页面分为两种标签,一种是Structure,是按照域名进行区分;一种是Sequence,是按照访问时间先后进行排序:
先对Charles软件进行配置,打开客户端,点击菜单Proxy->Proxy Settings,设置服务器端口,自己也可以对端口进行修改,把下面【Enable transpaent HTTP proxing】勾选上为了是让Charles自己设置成代理服务器实现抓包,对于本地系统发出的访问请求都会被截取下来。如果只是用Charles对手机抓包,菜单上的Windows proxing 就不需要勾选,可以避免pc端访问请求数据的干扰。
跟Fiddle一样,需要把电脑端和手机端配置到同一局域网;在获取Charles端口之后,也需要得到电脑端的ip地址,电脑IP地址查询方式:windows+R 输入cmd卡开命令行,然后输入ipconfig,IPv4即为本机的IP地址。
更改手机端WiFi的代理及端口:
有些小伙伴可能在配置成功的时候,手机端会出现"wifi已连接,但无法访问互联网“的现象,这时候可以先把wifi代理先转换成【无】,然后wifi断连再重新连接,这时候WiFi可以正常使用之后再更改wifi的代理,更改主级名以及端口保存即可,这时候手机就可以正常访问网络了。
用win10的小伙伴们注意一下,在进行设置之前最好先把防火墙关闭,配置成功之后,Charles的页面就如下图:
避免抓取本地或者移动端http数据乱码或者失败,需要相应配置SSL证书,电脑端跟移动端都需要相应进行配置。
电脑端安装证书,打开Charles客户端,选择菜单【 "Help" -> "SSL Proxying" -> "Install Charles Root Certificate"】
按步骤进行安装即可;
在选择证书储存位置时,只要选【个人】即可,一般来说选择的是第二项。
然后配置SSL的抓取域名:选中【"Proxy"->"SSL Proxying Settings"】,启用【Enable SSL Proxying】选项,选择add选项,Charles的Location配置是支持通配符的,因此在Host设置一个"*"就可以用来表示所有域名,port不用写。
之后如果配置某一个指定域名的时候,这里的port可以设置为443即可,这样就可以抓到指定域名的数据;
手机端SSL证书安装,打开Charles客户端,点击【"Help"-> "SSL Proxying" ->"Install Charles Root Certificate on a Mobile Device or remote Browser"】,
会出现,如下页面,意思就是让你手机端设置一个代理:192.168.2.173:1111,就是要保证移动端与pc端在同一局域网,然后用手机端浏览器访问chls.pro/ssl:
下载成功后,需要手机端本地安装,这里以红米为例,小米手机安装安全证书时需要提前设置解锁密码,否则安装不了,以下就是安装流程:
安装完之后,就可以利用charles抓取手机端http的数据了。
mitmproxy收机抓包的相关配置
mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。
mitmproxy还有两个关联组件。一个是mitmdump,它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。另一个是mitmweb,它是一个Web程序,打开它是一个监视网页,我们可以很清楚地观察到mitmproxy捕获的请求。这里是以windows为实例来进行演示。
下载方式分为两种:一种是可以直接从官网中进行下载,网址:https://docs.mitmproxy.org/,另一种是借助于python安装包pip,利用pip install mitmproxy命令;下载完之后,找到mitmproxy的下载目录,把下载目录配置到系统的环境变量中,配置环境变量的教程网上有很多,可以自行学习;方便使用,我们可以借助命令行测试一下,看mitmproxy是否安装成功;windows不支持mitmproxy命令,但不影响,因为windows支持mitmdump和mitmweb命令。
这里可以能够直接获取得到mitmproxy的端口为8080,第二步跟Charles一样,确保手机端与电脑端在同一局域网,电脑端的IP地址获取方式与Charles中一样,配置成功后的mitmdump如下图:
与Charles一样,如果要通过mtmproxy抓取本地跟手机端的HTTP数据,则电脑端与手机端也需要安装相应的安全证书,安装方式与Charles中介绍的方式一样,证书的获取地址为在c盘存放mitmproxy地址:【C盘 -> 用户 -> 用户名 -> mitmproxy】 。
用Fiddler、Charles和mitmproxy进行手机抓包的配置教程相关推荐
- fiddler安卓模拟器与ios手机抓包
一.安卓模拟器(雷电模拟器)抓包 1.1fiddler基本配置 1.2导出Fiddler证书 Tools -> Options -> HTTPS -> Actions -> E ...
- Fiddler结合wireshark实现手机端抓包-综合各类教程的合集
Fiddler结合wireshark实现手机端抓包 背景: 由于各种调试需要,我们可能需要对移动端产品进行抓包方便分析问题定位问题.这里有两个常用工具,结合起来就可以实现手机端各类数据包抓取. 场景: ...
- charles 手机抓包设置
charles 抓包手机 charles经常会进行手机上的网页抓包,比如去copy别人网站图片或脚本的时候o(∩_∩)o : 手机抓包的原理,和PC类似,手机依靠charles与服务端进行对话: 目标 ...
- 简单的手机抓包软件(小黄鸟)HttpCanary
个人觉得比较好用的一款手机抓包软件,教程不怎么详细,但你应该会懂 安装包: 百度网盘 请输入提取码 (8899) 安装使用: 这里记得是先安装在导出
- charles + 雷电模拟器4进行手机抓包
文章目录 前言 一.charles的配置和使用 二.雷电模拟器4配置 1.使用adb进行全局代理 2.使用postren进行全局代理 三.证书相关 四.反编译工具的使用 总结 前言 本章是以win10 ...
- 在Mac Os(苹果)上用手机抓包软件Charles抓取微信小程序中的高清无水印视频
手机抓包是一名测试工程师常备的技能,比如我想查看一个接口请求的参数.返回值,还有移动设备上的http请求.https请求,这一次的背景是我们想要在app端和小程序端抓取一些视频,这里用腾讯视频作为例子 ...
- Charles手机抓包之下载、安装、配置、介绍
一.Charles用于简单操作时 1.抓包工具Charles的下载和安装: 下载网址:Download a Free Trial of Charles • Charles Web Debugging ...
- 使用Fiddler手机抓包https-----重要
Fiddler不仅可以对手机进行抓包,还可以抓取别的电脑的请求包,今天就想讲一讲使用Fiddler手机抓包! 使用Fiddler手机抓包有两个条件: 一:手机连的网络或WiFi必须和电脑(使用fidd ...
- 【建站系列教程】2.2、fiddler手机抓包教程
[建站系列教程]2.2.fiddler手机抓包教程 (全网最良心.实用教程) fiddler手机抓包原理 步骤摘要 详细步骤 1. 安装fiddler.修改配置 2. 电脑和手机连上同一个wifi 3 ...
最新文章
- SLAM综述|激光与视觉融合SLAM
- python 回溯法 子集树模板 系列 —— 3、0-1背包问题
- 项目Alpha冲刺——代码规范、本次冲刺任务与计划
- ubuntu20.04运行愤怒的小鸟
- SAP订单编排和流程增强概述
- 机器学习——文件的读取
- java ssm框架 缓存_SSM框架之Mybatis(7)延迟加载、缓存及注解
- 我要去 Google 工作了
- r语言ggplot2一夜多图_跟着Nature microbiology学画图~R语言ggplot2画直方图
- 【深度优先搜索】计蒜客:方程的解数
- javascript_11-函数面试题
- Cacti监控Varnish
- Java代码生成器——基于模板快速生成web项目结构
- SpringCloud核心组件讲解
- 麟龙指标通达信指标公式源码_麟龙新决策曲线A通达信指标公式源码
- 一个校园网络的规划与设计
- 用python智能修复度盘防和谐链接~
- MCtalk教育大咖说:不忘教育初心,柚子练琴聚焦音乐陪练
- 要怎么在计算机里清除桌面内存,告诉你电脑内存怎么清理
- 芒种时节,某地为何无人收割小麦?