抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据

项目目录
1、抖音短视频数据抓取实战系列（〇）——前言
2、抖音短视频数据抓取实战系列（一）——模拟器的选择与设置
3、抖音短视频数据抓取实战系列（二）——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列（四）——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列（五）——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列（七）——python连接MySQL数据库
9、抖音短视频数据抓取实战系列（八）——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列（九）——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列（十）——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列（十一）——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列（十二）——抓取实战BUG总集

1、环境都搭好之后，我们开始监测数据吧

可以先上划视频，查看fiddler是否可以监测到数据，如图这是博主几次上划之后，监测到的api接口等等，说明可以正常监测接口了。

2、我们需要抓取的是用户详细信息数据，那么在此之前我们需要找到用户信息的接口

经过进入用户信息页和fillder抓取博主找到了接口为"https://aweme.snssdk.com/aweme/v1/user/profile/other/?"，相应的fiddler抓到的数据是：

3、将fiddler抓取到的数据保存到本地json文件中进行存储。
1)这是博主之前抓取的，先新建*.json文件进行数据存储

2)在Fiddler ScriptEditor添加存储操作，这一步fiddler不需要重启

或者ctrl+R，进入Fiddler ScriptEditor
找到OnBeforeResponse方法，在方法最前面添加

if (oSession.fullUrl.Contains("https://aweme.snssdk.com/aweme/v1/user/profile/other/?")) {oSession.utilDecodeResponse();FiddlerObject.log("--------------------");FiddlerObject.log(oSession.GetResponseBodyAsString());FiddlerObject.log("--------------------");//消除保存的请求可能存在乱码的情况var fso;var file;fso = new ActiveXObject("Scripting.FileSystemObject");//文件保存路径，可自定义,但路径必须这么写，不然会报错file = fso.OpenTextFile("C:\\Users\\86187\\Desktop\\json\\result.json",8 ,true, true);file.writeLine(oSession.GetResponseBodyAsString()+",");file.writeLine("\n");file.close();}

详细代码：

static function OnBeforeResponse(oSession: Session) {if (oSession.fullUrl.Contains("https://aweme.snssdk.com/aweme/v1/user/profile/other/?")) {oSession.utilDecodeResponse();FiddlerObject.log("--------------------");FiddlerObject.log(oSession.GetResponseBodyAsString());FiddlerObject.log("--------------------");//消除保存的请求可能存在乱码的情况var fso;var file;fso = new ActiveXObject("Scripting.FileSystemObject");//文件保存路径，可自定义,但路径必须这么写，不然会报错file = fso.OpenTextFile("C:\\Users\\86187\\Desktop\\json\\result.json",8 ,true, true);file.writeLine(oSession.GetResponseBodyAsString()+",");file.writeLine("\n");file.close();}if (m_Hide304s && oSession.responseCode == 304) {oSession["ui-hide"] = "true";}}

4、测试功能，当你进入一个用户主页是，fiddler控制台有数据输出，json文件进行了更新则说明数据抓取存取成功，如下图所示

5、用户成功保存到本地json文件之后，就是对文件数据进行解析并存入数据库了。

抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据相关推荐

抖音短视频数据抓取实战系列（十）——获取抖音dom元素属性
抖音短视频数据抓取实战系列(十)--获取抖音dom元素属性项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3.抖音短视频数据抓取实 ...
抖音短视频数据抓取实战系列（九）——自动化Appium的环境与参数配置
抖音短视频数据抓取实战系列(九)--自动化Appium的环境与参数配置项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3.抖音短视 ...
抖音短视频数据抓取实战系列（〇）——前言
前言: 博主因为项目需要抓取大量的用户信息,所以便开始在网上搜素有没有什么监测数据的方法,博主查到了两种,1.fiddler监测和2.Mitmproxy监测,通过对两者的不断研究实验,博主得出了一下对 ...
抖音短视频数据抓取实战系列（二）——Fiddler安装配置以及模拟器监测环境配置
抖音短视频数据抓取实战系列(二)--Fiddler安装配置以及模拟器监测环境配置项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3 ...
抖音短视频数据抓取实战系列（十二）——抓取实战BUG总集
抖音短视频数据抓取实战系列(十二)--抓取实战BUG总集 1.模拟器自带的Xposed框架无法安装. 2.Fiddler无法监测雷电模拟器上的数据. 3.模拟器抖音用户详情页为空(未解决). 4.pi ...
抖音短视频数据抓取实战系列（六）——Mitmproxy+python编写监测程序
抖音短视频数据抓取实战系列(六)--Mitmproxy+python编写监测程序项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3 ...
Python爬虫实战系列(一)-request爬取网站资源
Python爬虫实战系列(一)-request爬取网站资源 python爬虫实战系列第一期文章目录 Python爬虫实战系列(一)-request爬取网站资源前言一.request库是什么? 二 ...
【Youtobe trydjango】Django2.2教程和React实战系列三【Django超级管理员和内置内容】
[Youtobe trydjango]Django2.2教程和React实战系列三[Django超级管理员和内置内容] 1. Django数据初始化及超级管理员 2. 用户模块使用 1. Django ...
python爬取快手app视频(fiddler抓json包实现)
fiddler工具的安装 fiddler 官网地址:https://www.telerik.com/fiddler 进入页面后,点击free download 进入这个页面后,用途的话,根据自己的需要 ...

抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据

抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据

抖音短视频数据抓取实战系列（三）——Fiddler抓取抖音用户详细信息数据相关推荐

最新文章

热门文章