mitmdump抓取App数据

以爬取腾讯新闻App新闻评论为例。

将手机用数据线连接上电脑，打开调试。

首先通过Charles抓包分析请求链接和响应的内容。

注意：腾讯新闻上的评论是嵌套字典的列表，我们需要进行处理，提取出列表中的字典。

代码展示

import time, jsondef response(flow):url = 'https://r.inews.qq.com/getQQNewsComment?'  # 评论所在的链接（较完整）if url in flow.request.url:text = flow.response.text  data = json.loads(text)# 从Charles中观测，data是个列表对象，列表对象是没有get()方法的，因此需提取出字典data = data.get('comments').get('new')  if data:  # 判断对象是否为空，data是评论集，包含多个评论for item in data:  # 处理每一条评论，此时item是列表item = item[0]  # 将列表转化为字典，从Charles中观测为嵌套字典的列表# 获取评论的信息nick = item.get('nick')  # 昵称agree = item.get('agree_count')  # 点赞数sex = item.get('sex')  # 性别reply_num = item.get('reply_num')  # 互动数city = item.get('province_city')  # 所在城市comment = item.get('reply_content')  # 评论# 时间戳的转换date = time.strftime("%Y-%m-%d", time.localtime(item.get('pub_time'))) print(nick, agree, reply_num, sex, city, comment, date)# 获取子评论data = item.get('reply_list')  # 嵌套字典的列表，包含多个子评论if data:  # 判断对象是否为空，data是子评论集，包含多个子评论for item2 in data:item2 = item2[0]  # 提取出字典reply_date = time.strftime("%Y-%m-%d", time.localtime(item2.get('pub_time')))reply_nick = item2.get('nick')reply_agree = item2.get('agree_count')reply_sex = item2.get('sex')reply_city = item2.get('province_city')reply_comment = item2.get('reply_content')print(reply_date, reply_nick, reply_agree, reply_sex, reply_city, reply_comment)

在py文件所在的文件目录中，按住shift键，鼠标点击右键，选择“在此处打开shell窗口”。

输入mitmdump -s file.py，在App上不断地下滑，就会打印输出所需内容。

mitmdump抓取App数据相关推荐

python123 app下载_Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...
Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...
python爬取app、返回的是加密数据_Python 逆向抓取 APP 数据
今天继续给大伙分享一下 Python 爬虫的教程,这次主要涉及到的是关于某 APP 的逆向分析并抓取数据,关于 APP 的反爬会麻烦一些,比如 Android 端的代码写完一般会进行打包并混淆加密加固 ...
抓取app数据教程–fiddler抓包数据截取-薄荷app为例
转载请注明出处:抓取app数据教程–fiddler抓包数据截取-薄荷app为例准备工具 1.手机(安装有想要抓取数据app的iphone或者android) 2.fiddler抓包工具安装fidd ...
利用Fiddler抓取APP数据
利用Fiddler抓取APP数据简杨君关注 2016.11.03 18:51* 字数 368 阅读 762评论 0喜欢 2 软件:Fiddler 系统:Windows10 手机:MX4 PRO F ...
自动抓取app数据技术方案总结
在app运营过程中,有时候我们需要了解app中的一些数据,比如:我们自己开的网店,有时候app官方提供的数据并不能满足我们的实际需求,这时就需要使用工具来自动抓取我们自己店铺中有用的数据.一般有两种实 ...
一分钟学会如何自动抓取app数据
网络爬虫比较适合搜集web页面数据,但在app当道的时代,很多app根本就没有对应的web网站,所以使用传统的网络爬虫抓取数据已不再适用.最近研究了一下解决方案,发现目前市面上的解决方案要么是java ...
自动抓取app数据的攻与防
当我们发布了一款app后,一般我们并不想让别人获取我们的app数据,更不希望别人调用我们的app后端服务api.一些抢购场景尤其重要,比如:在线预约医院专家号(知名专家的号往往一票难求),在线抢购商品 ...
okhttp post json 数据_使用python抓取App数据
App中的数据可以用网络爬虫抓取么答案是完全肯定的:凡是可以看到的APP数据都可以抓取. 下面我就介绍下自己的学习经验和一些方法吧本篇适合有过web爬虫基础的程序猿看没有的的话学的可能会吃力一些 ...

mitmdump抓取App数据

mitmdump抓取App数据相关推荐

最新文章

热门文章