fiddler抓包新闻APP

使用 fiddler 搭配夜神模拟器爬取央视新闻APP 2020 年一月份的所有新闻数据。
1、在雷电模拟器中打开央视新闻APP

2、将fiddler工具中的记录清空，然后选择央视新闻APP的时间链进行抓取2020.01.01–2020.01.31的所有新闻内容

代码如下：


import datetime"""
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=1&pubDate=1577876518000
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=2&pubDate=1577876518000
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=3&pubDate=1577876518000
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=4&pubDate=1577876518000
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=5&pubDate=1577876518000
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=6&pubDate=1577876518000&app_version=805 HTTP/1.1
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=7&pubDate=1577876518000&app_version=805 HTTP/1.1
http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList?n=20&version=1&p=1&pubDate=1577962918000&app_version=805 HTTP/1.1
"""import requests
api_url = 'http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList'def get_params(page, date_time):# 构建页数与时间params = {"n": "20",  # 爬去数据"version": "1","p": str(page),  # 第几页"pubDate": str(date_time),  # 十三位时间戳"app_version": "805"}return paramsheaders = {'User-Agent': 'PCRT00','Host': 'api.cportal.cctv.com','Connection': 'Keep-Alive',}# response = requests.get(url=api_url, params=params, headers=headers)
# data = response.json()
# 返回的数据里面有一个总页数
def time_chain():"""获取时间戳"""time_chain_list = []start_date = datetime.date(2020, 1, 1)start_time = datetime.time(13, 54, 36)datetime_now = datetime.datetime.combine(start_date, start_time)day = datetime.timedelta(days=1)for i in range(365):datetime_now += daytime_chain_list.append([int(datetime_now.timestamp() * 1000), datetime_now.strftime("%Y-%m-%d")])return time_chain_listdef download_one_day(datetime_now, date):total = 20while True:# 使用while确定每一天有多少天数据# 获取请求参数# 第一次请求params = get_params(int(total / 20), datetime_now)response = requests.get(api_url, params=params, headers=headers)for data in response.json()['itemList']:# save_data(data, date)print(data, date)# 增加二十条数据total += 20# 140 > 137 +if total >= response.json()['total'] + 20:breakdef download_article(url) -> str:# 下载文章内容response = requests.get(url)response.encoding = response.apparent_encodingreturn response.json()['content']# 先回去时间链
l = time_chain()
for datetime_now, date in l:print(datetime_now)download_one_day(datetime_now, date)

fiddler抓包新闻APP相关推荐

fiddler抓包后APP无法访问的解决
fiddler抓包后APP无法访问的解决问题原因如何解决手机抓包的具体操作问题原因如果开启fiddler抓包后,部分APP正常解密HTTPS,部分APP不行(比较典型的是应用商店,淘宝,知乎 ...
夜神模拟器+Fiddler抓包测试App
前言最近公司要求前端小姐姐开始用uniapp做App了,后端这边接口安全是用的security(历史原因),讲真我不太喜欢用这个,好多年没有用这个了.今天主要是跟大家分享下用模拟器测试app + F ...
Fiddler抓包手机APP数据,wireshark,charles
fiddler 安装好fiddler后,打开tools->options,勾选Allow remote computers to connect, 允许解析https: 打开浏览器,输入loca ...
fiddler抓包——手机添加代理后APP连不上网的常见4种原因及解决办法
更新遇到的问题是: Android6.0及以下系统可以抓包,而Android7.0及以上系统不能再抓包. 原因: Android7.0+的版本新增了证书验证,即app内不再像原来一样默认信任用户的证 ...
fiddler抓包小红书app（简易版）
官网下载夜神模拟器最新版本,选择安卓5,启动后下载小红书app 官网下载fiddler抓包工具,配置好后并安装证书并修改权限安装xposed框架和just-trust-me组件.mt管理器(安装证书 ...
使用Fiddler抓取手机APP数据包--360WIFI
使用Fiddler抓取手机APP流量--360WIFI 操作步骤: 1.打开Fiddler,Tools-Fiddler Options-Connections,勾选Allow remote compu ...
利用Loadrunner+Fiddler抓包的形式录制APP的性能脚本
利用Loadrunner+FIddler抓包的形式录制APP的性能脚本最近公司要求做APP的性能测试,尝试网上所有的方法,整崩溃了还是没有有弄好,手机连接代理,但是录制的时候有些接口就是抓不到,流程 ...
非常【刑】又可【拷】的fiddler抓包实战涵盖使用教程/下载安装/抓取手机app
Fiddler是一款非常强大的网络抓包工具,可以帮助我们分析HTTP/HTTPS协议的流量,从而深入了解网站的运行机制,发现安全风险和性能问题.下面是Fiddler工具的基础使用方法. 视频教程:非常 ...
万字长文-通过Fiddler抓包和jd-gui反编译白嫖某“绅士”APP内的正能量资源（二）
系列文章目录万字长文-通过Fiddler抓包和jd-gui反编译白嫖某"绅士"APP内的正能量资源文章目录系列文章目录前言继续深入上活分析源码总结前言本系列文章 ...

fiddler抓包新闻APP

fiddler抓包新闻APP

fiddler抓包新闻APP相关推荐

最新文章

热门文章