Python爬取APP上的数据教程
App抓包原理
1.客户端向服务器发起HTTPS请求
2.抓包工具拦截客户端的请求,伪装成客户端向服务器进行请求
3.服务器向客户端(实际上是抓包工具)返回服务器的CA证书
4.抓包工具拦截服务器的响应,获取服务器证书公钥,然后自己制作一张证书,
将服务器证书替换后发送给客户端。(这一步,抓包工具拿到了服务器证书的公钥)
5.客户端接收到服务器(实际上是抓包工具)的证书后,生成一个对称密钥,
用抓包工具的公钥加密,发送给“服务器”(抓包工具)
6.抓包工具拦截客户端的响应,用自己的私钥解密对称密钥,然后用服务器证书公钥加密,
发送给服务器。(这一步,抓包工具拿到了对称密钥)
7.服务器用自己的私钥解密对称密钥,向客户端(抓包工具)发送响应
8.抓包工具拦截服务器的响应,替换成自己的证书后发送给客户端
爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人
如果你被反爬了,就是你骗术不精,被发现了。
App数据好抓吗?
App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过):
简单:
app的数据比web端数据更容易抓取,基本都是http、https协议,返回的数据格式也相对规整,
大多是json格式
困难:
1.需要反编译的知识,需要分析加密算法
2.需要脱壳+反编译
3.需要破解各式各类的签名,证书。。
所以一个爬虫工程师慢慢就需要掌握以下技能:
java编程基础
android编程基础
app逆向
app脱壳
破解加密
…
从入门到全栈,学习过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun:784758,214,与你分享Python企业当下人才需求及怎么从零基础学习Python,和学习什么内容。相关学习视频资料、开发工具都有分享
常用抓包工具
fiddler
mitmproxy
Charles
fiddler安装和使用
下载:
https://telerik-fiddler.s3.amazonaws.com/fiddler/FiddlerSetup.exe
安装:一路Next
主要界面介绍:
会话列表界面:
监控面板在点击会话列表界面的某个请求后会出现下面两个界面:
请求面板:
响应面板:
本地CA证书安装
点击 Tools - Options - HTTPS - 勾选勾选 Capture HTTPS CONNECTs,勾选 Decrypt HTTPS trafic,会弹出安装证书的提示。一路点是或确定安装即可。
重启fiddler,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存
点击安装
连接手机抓包需要的配置
先设置PC端fiddler:
之后手机需要访问 本地主机IP + 设置的端口,安装证书,证书安装成功后即可抓包。
以上就是关于Fiddler的安装和简单使用,进阶使用还有很多骚操作,
mitmproxy安装和使用
mitmproxy在linux版本下和windows版本下略有不同。
linux下借助pip,可以一键安装:pip install mitmproxy
windows 下需要安装Microsoft Visual C++ V14.0以上,之后再使用pip install mitmproxy安装
mitmproxy有三大组件:
mitmproxy - linux下的抓包组件
mitmdump - python交互
mitmweb - windows下的可视化界面工具
在windows下仅支持后两种组件的使用。
证书配置
在安装目录下可以看到以下这些文件:
其中:
window安装证书
双击mitmproxy-ca.p12,一路确定直至结束。期间会弹出警告点击“确认”即可。
Mac安装证书
Mac下双击mitmproxy-ca-cert.pem即可弹出钥匙串管理页面,然后找到mitmproxy证书,打开其设置选项,选择“始终信任”即可
Android/iPhone安装证书
方法一: 将mitmproxy-ca-cert.pem发送到手机上点击安装就可以了,苹果手机点击安装描述文件即可。
方法二: 在linux下启动 mitmproxy,命令为mitmproxy -p 8889
,同时将手机代理设置为linux的IP地址与端口后访问mitm.it
安装证书。
简单使用
mitmproxy过滤功能的使用举例:
输入z,清除屏幕上全部的包
mitmproxy断点功能的使用举例:
输入i,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
mitmproxy经常配合appium使用:
首先我们需要写一个抓包的脚本,类似下面这个:
import jsonPython交流学习qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
注意:这里的方法名必须使用response
编写完抓包的脚本后,使用 mitmdump -p [port] -s [脚本文件]
启动,配合appium自动化脚本即可实现app自动化抓取。
Python爬取APP上的数据教程相关推荐
- 利用Python爬取爬取APP上面的数据
前言 在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置 下载Fidder软件地址:https: ...
- python爬取软件数据_利用Python爬取爬取APP上面的数据
前言 在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置 下载Fidder软件地址:https:// ...
- Python爬取网站上面的数据很简单,但是如何爬取APP上面的数据呢
前言 在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过 ...
- 手机抓包app_Python爬取网站上面的数据很简单,但是如何爬取APP上面的数据呢
前言 在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置 下载Fidder软件地址:https:// ...
- python爬淘宝app数据_一篇文章教会你用Python爬取淘宝评论数据(写在记事本)
[一.项目简介] 本文主要目标是采集淘宝的评价,找出客户所需要的功能.统计客户评价上面夸哪个功能多,比如防水,容量大,好看等等. [二.项目准备工作] 准备Pycharm,下载安装等,可以参考这篇文章 ...
- python爬取电影评分_用Python爬取猫眼上的top100评分电影
代码如下: # 注意encoding = 'utf-8'和ensure_ascii = False,不写的话不能输出汉字 import requests from requests.exception ...
- python爬取微博热搜数据并保存!
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
- Python爬取京东任意商品数据实战总结
利用Python爬取京东任意商品数据 今天给大家展示爬取京东商品数据 首先呢还是要分思路的,我分为以下几个步骤: 第一步:得到搜索指定商的url 第二步:获得搜索商品列表信息 第三步:对得到的商品数据 ...
- python 爬取24小时天气数据
python 爬取24小时天气数据 1.引入相关库 # -*- coding: utf-8 -*- import requests import numpy as np 关于爬虫,就是在网页上找到自己 ...
最新文章
- win8计算机管理没有用户组,Win8右键计算机管理提示“该文件没有与之关联的程序”怎么办?...
- linux写文件优化,Linux文件系统性能优化
- VC++获取屏幕大小第三篇 物理大小GetDeviceCaps 下
- Linux远程传输文件免密码
- Kubernetes基础学习(一)
- 【unity3d游戏开发之基础篇】利用射线实现鼠标控制角色转向和移动(角色移动一)...
- 具有Java Kickstart的MongoDB
- Project 3 resources reassigned !!!
- [7]对话框控件的变量绑定
- Golang 中使用多维 map
- 苹果与三星的竞争分析
- 笔记本怎样做无线打印服务器,自己的笔记本怎么连打印机_笔记本怎样无线连接打印机...
- 介绍3种JavaScript重定向到另一个网页的方法
- R 语言 optim 使用
- 软件测试-柠檬班python全栈自动化50期测试学习笔记分享
- opencv图像处理—项目实战:答题卡识别判卷
- FT232RL变砖之后
- mysql官网怎么下载驱动包_如何在官网上下载mysql驱动
- 什么是产品运营及如何写产品运营报告
- 【通信技术】信噪比及单位