面试官问我会不会APP抓包,我..
点击“小詹学Python”,选择“置顶”公众号
重磅干货,第一时间送达
本文转载自咸鱼学Python,禁二次转载
标题这个题目应该是我面试答的最好的一题了,所以咸鱼就来讲讲APP抓包环境搭建。
App抓包应该是每个爬虫工程师都避不开的话题,在之前我也写过关于自动参与「抽奖助手」
抽奖的文章,当时使用的抓包工具是Charles,有需要的朋友可以翻下之前的文章。
App抓包原理
客户端向服务器发起HTTPS请求
抓包工具拦截客户端的请求,伪装成客户端向服务器进行请求
服务器向客户端(实际上是抓包工具)返回服务器的CA证书
抓包工具拦截服务器的响应,获取服务器证书公钥,然后自己制作一张证书,
将服务器证书替换后发送给客户端。(这一步,抓包工具拿到了服务器证书的公钥)客户端接收到服务器(实际上是抓包工具)的证书后,生成一个对称密钥,
用抓包工具的公钥加密,发送给“服务器”(抓包工具)抓包工具拦截客户端的响应,用自己的私钥解密对称密钥,然后用服务器证书公钥加密,
发送给服务器。(这一步,抓包工具拿到了对称密钥)服务器用自己的私钥解密对称密钥,向客户端(抓包工具)发送响应
抓包工具拦截服务器的响应,替换成自己的证书后发送给客户端
爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人
如果你被反爬了,就是你骗术不精,被发现了。
App数据好抓吗?
App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过):
简单:
app的数据比web端数据更容易抓取,基本都是http、https协议,返回的数据格式也相对规整,
大多是json格式
困难:
1.需要反编译的知识,需要分析加密算法
2.需要脱壳+反编译
3.需要破解各式各类的签名,证书。。
所以一个爬虫工程师慢慢就需要掌握以下技能:
java编程基础
android编程基础
app逆向
app脱壳
破解加密
…
从入门到全栈
常用抓包工具
fiddler
mitmproxy
Charles
fiddler安装和使用
下载:
https://telerik-fiddler.s3.amazonaws.com/fiddler/FiddlerSetup.exe
安装:一路Next
主要界面介绍:
会话列表界面:
监控面板在点击会话列表界面的某个请求后会出现下面两个界面:
请求面板:
响应面板:
本地CA证书安装
点击 Tools - Options - HTTPS - 勾选勾选 Capture HTTPS CONNECTs,勾选 Decrypt HTTPS trafic,会弹出安装证书的提示。一路点是或确定安装即可。
重启fiddler,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存
点击安装
连接手机抓包需要的配置
先设置PC端fiddler:
之后手机需要访问 本地主机IP + 设置的端口,安装证书,证书安装成功后即可抓包。
以上就是关于Fiddler的安装和简单使用,进阶使用还有很多骚操作,
mitmproxy安装和使用
mitmproxy在linux版本下和windows版本下略有不同。
linux下借助pip,可以一键安装:pip install mitmproxy
windows 下需要安装Microsoft Visual C++ V14.0以上,之后再使用pip install mitmproxy安装
mitmproxy有三大组件:
mitmproxy - linux下的抓包组件
mitmdump - python交互
mitmweb - windows下的可视化界面工具
在windows下仅支持后两种组件的使用。
证书配置
在安装目录下可以看到以下这些文件:
mitmproxy-ca.pem |
PEM格式的证书私钥 |
mitmproxy-ca-cert.pem |
PEM格式证书,适用于大多数非Windows平台 |
mitmproxy-ca-cert.p12 |
PKCS12格式的证书,适用于Windows平台 |
mitmproxy-ca-cert.cer |
与mitmproxy-ca-cert.pem相同,只是改变了后缀,适用于部分Android平台 |
mitmproxy-dhparam.pem |
PEM格式的秘钥文件,用于增强SSL安全性 |
window安装证书
双击mitmproxy-ca.p12,一路确定直至结束。期间会弹出警告点击“确认”即可。
Mac安装证书
Mac下双击mitmproxy-ca-cert.pem即可弹出钥匙串管理页面,然后找到mitmproxy证书,打开其设置选项,选择“始终信任”即可
Android/iPhone安装证书
方法一: 将mitmproxy-ca-cert.pem发送到手机上点击安装就可以了,苹果手机点击安装描述文件即可。
方法二: 在linux下启动 mitmproxy,命令为mitmproxy -p 8889
,同时将手机代理设置为linux的IP地址与端口后访问mitm.it
安装证书。
简单使用
mitmproxy过滤功能的使用举例:
输入z,清除屏幕上全部的包
输入f,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
!(~c 200) #显示所有返回不是200的请求
!(~c 200) & ~d baidu.com #显示域名包含baidu.com,返回不是200的请求
~m post & ~u baidu #显示请求的链接里面包含baidu的post请求
~d baidu.com (http://baidu.com) 过滤所有域名包含baidu.com (http://baidu.com)的包
mitmproxy断点功能的使用举例:
输入i,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
断点的条件和过滤是一样的,符合条件的链接会被拦截
~d baidu.com & ~m get
域名包含baidu.com的get 请求会被拦截
按Enter进入详情页,在详情页输入e进入模式,可以修改各项数据
完成后,回到请求显示列表,输入a,将请求放行.
1.请求重放
2.选中需要重放的请求,输入r可以重放请求,也可以先编辑后再重放
3.输入Q可退出程序
mitmproxy经常配合appium使用:
首先我们需要写一个抓包的脚本,类似下面这个:
import json
def response(flow):
if 'aweme/v1/user/follower/list/' in flow.request.url:
for user in json.loads(flow.response.text)['followers']:
info = {}
nfo['share_id'] = user['uid']
info['_id'] = user['short_id']
save_task(info)
注意:这里的方法名必须使用response
编写完抓包的脚本后,使用 mitmdump -p [port] -s [脚本文件]
启动,配合appium自动化脚本即可实现app自动化抓取。
Charles的使用
之前写过了相关的实战,可以直接看下面的文章:
10行代码实现自动参与抽奖助手抽奖(上)
10行代码实现自动参与抽奖助手抽奖(下)
以上是我面试后的部分总结,希望对你有所帮助~
推荐阅读:
除了Kaggle,还有哪些高质量的数据科学竞赛平台?
面试官问我会不会APP抓包,我..相关推荐
- 求你了,别再问我网页或APP抓包了!
公众号后台回复"图书",了解更多号主新书内容 作者:pk哥 来源:Python知识圈 这半个月,pk 哥 在 B 站上传了两个 ...
- 关于fi dd ler 手机抓包 网卡地址地址_面试官:你给我讲讲抓包神器tcpdump的原理...
点击上方蓝色字关注我们~ 面试官 你说你会网络编程?你说你熟悉网络知识,那你使用过tcpdump吗?能给我讲下tcpdump是什么,或者你有用过tcpdump解决过实际问题吗? 如果你学过网络,甚至搞 ...
- 面试官问我会canvas? 我可以绘制一个烟花动画
前言 在我们日常开发中贝塞尔曲线无处不在: svg 中的曲线(支持 2阶. 3阶) canvas 中绘制贝塞尔曲线 几乎所有前端2D或3D图形图表库(echarts,d3,three.js)都会使用到 ...
- 作为一个面试官,我会这样问问题——面试攻略之见招拆招
核心内容提示: 楼主以一个面试官的身份,解读面试人员会问什么问题,为什么要问这个问题,以及最重要的,如何应答. 希望能给找工作的各位同学一点提示与帮助. PS. 文章写得稍微有点长,关键的地方我都已用 ...
- 面试官问了四个问题,总结了4个经验
目录 前言 面试过程 面试总结 面试重点总结和套路 结语 前言 个人是去年年底零基础转行,两三千培训费学出来,学完后也是稀里糊涂,仅是知道功能测试就是找问题,其他接口,性能,数据库,python基础, ...
- 面试官问你想找什么工作_找工作时如何面试面试官
面试官问你想找什么工作 在技术面试中要问的十二个问题 (Twelve questions to ask at tech interviews) I've just come off six wee ...
- 大叔手记(10):别再让面试官问你单例
大叔手记(10):别再让面试官问你单例(暨6种实现方式让你堵住面试官的嘴) ... 2012-2-19 09:03| 发布者: benben| 查看: 283| 评论: 0 摘要: 引子经常从Recr ...
- eureka自我保护时间_阿里面试官问我:到底知不知道什么是Eureka,这次,我没沉默...
文章首发:阿里面试官问我:到底知不知道什么是Eureka,这次,我没沉默 什么是服务注册? 首先我们来了解下,服务注册.服务发现和服务注册中心的之间的关系. 举个形象的例子,三者之间的关系就好像是供货 ...
- 面试官问:跨域请求如何携带cookie?
大家好,我是若川.持续组织了6个月源码共读活动,感兴趣的可以点此加我微信 ruochuan12 参与,每周大家一起学习200行左右的源码,共同进步.同时极力推荐订阅我写的<学习源码整体架构系列 ...
最新文章
- VUE3.0 二. vue-cli3 配置指南
- 处理linux 下nbu只能找到一个驱动器
- Uptime Tier Ⅳ标准数据中心的柴发油路设计关键点
- java 饥饿现象,Java单例模式、饥饿模式代码实例
- li标签行内元素高度及居中
- C++ std::vector 一维 二维数组 初始化 为0
- Android签名文件转化为pk8和pem
- java连接ftp服务器
- 客户下单邮件跟进书写
- 苹果v10模板需要几的php,苹果MACCMSv10源码模板安装常见问题
- CSS / 三大特性+盒子模型+PS基础
- 特斯拉DTC运营解读
- Gradle sync failed: Sync failed: reason unknown
- 2 为什么软件架构很重要
- 生活随记 - 金子总会发光
- python学习笔记——集合与字典
- 计算机专业能学AutoCAD吗,我是学计算机专业的,我现在学习AutoCAD2017,请问以后有用吗...
- linux6做双网卡,linux6--linux7 双网卡管理
- eclipse svn org.tigris.subversion.javahl.ClientException: RA layer request failed
- 前端技术HTML、CSS
热门文章
- Git 中 SSH key 生成步骤
- MySQL聚簇索引:叶子保存主键或unique字段+data 非聚簇保存索引字段
- java如何写线程外部类_廖雪峰Java读书笔记(六)--多线程(或称并发)
- PHP底层运行原理初探
- 如何通便清肠快速见效_如何三个月合理瘦身减脂
- Tomcat SSL/HTTPS 单向认证
- python函数的传参要求_python中函数传参详解
- 云服务器镜像麻烦吗_云服务器的镜像功能有什么作用?
- mysql 默认密码_mysql数据库安装
- Matlab 预防性维修,使用 MATLAB 进行预测性维护简介