使用fiddler抓包工具，抓取斗鱼接口，爬取数据

使用fiddler抓包工具，分析斗鱼接口信息找到斗鱼接口url，进行接口分析，提取数据。由于斗鱼直播数据和整个页面页码都是根据开播来实时更新的。所以我们提取数据是要判断。拿到实时的页码。

import requests
import random'''
url = https://www.douyu.com/gapi/rkc/directory/0_0/list'''
def get_douyu_api(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}proxies_list = [{'http': 'http://218.95.37.252:3128','https': 'https://182.61.162.160:3128'},{'http': 'http://163.125.19.53:8888','https': 'https://221.229.252.98:8080'},]proxies = random.choice(proxies_list)print(proxies)response = requests.get(url, headers=headers,proxies=proxies).json()# 一个接口里120条数据（1页）for i in range(120):try:# 直播标题title = response['data']['rl'][i]['rn']# print(title)except:title = '无标题'try:# 直播类型type1 = response['data']['rl'][i]['c2name']# print(type1)except:type1 = '无类型'try:# 主播名name = response['data']['rl'][i]['nn']# print(name)except:name = '无用户'try:# 热度hot = response['data']['rl'][i]['ol']# print(hot)except:hot = '无热度'info = f"直播类型：{type1}，直播标题：{title}，主播名：{name}，热度：{hot}"print(info)with open('斗鱼.txt','a',encoding='utf-8')as fp:fp.write(info+'\n')# 总页数pgcnt = response['data']['pgcnt']return pgcnt# print(pgcnt)if __name__ == '__main__':i = 1while True:url = f'https://www.douyu.com/gapi/rkc/directory/0_0/{i}'pgcnt = get_douyu_api(url)i += 1if i > pgcnt:break

使用fiddler抓包工具，抓取斗鱼接口，爬取数据相关推荐

使用Wireshark抓包工具抓取直播源
介绍Wireshark Wireshark是一款世界范围最广.最好用的网络封包分析软件,功能强大,界面友好直观,操作起来非常方便.它的创始人是Gerald Combs,前身是Ethereal,作为开源 ...
解决某手短视频抓包工具抓不到问题
解决某手短视频抓包工具抓不到问题解决某手短视频抓包工具抓不到问题代码python编写抓包结果解决某手短视频抓包工具抓不到问题通过hook该app的okhttp请求发现,该app走的quic协 ...
计算机网络抓包设计,计算机网络实验利用wireshark抓包工具抓包
计算机网络实验利用wireshark抓包工具抓包计算机网络实验[利用wireshark抓包工具抓包] 一.实验名称使用网络协议分析仪 Wireshark 二.实验目的 1.掌握安装和配置网络协议分 ...
使用Fiddler抓包工具抓取服务器数据
在正常开发中,应用总是要和服务器交互,其中不免要分析服务器返回的数据,以及测试接口,我们要借助抓跑工具类帮助.所谓抓包工具,其实就是一个代理, 正常我们访问服务器是直接访问,使用代理后,就是通过代理去 ...
用python爬取qq空间内容_利用Fiddler抓包和py的requests库爬取QQ空间说说内容并写入文件...
[Python] 纯文本查看复制代码#!C:\Program Files\Python36 python # -*- coding: UTF-8 -*- """ @au ...
Android 各种抓包工具抓包总结
前言这篇文章算是总结一下我之前抓包遇到的一些问题, 个人属性里带bug, 所以遇到的问题会比较多, 算是给大家提供一个抓包抓不到应该如何解决的思路. 工具介绍 Android中可用的抓包软件有fid ...
测试过程中如何分析抓包工具抓的HTTP或TCP包
http://www.docin.com/p-101479451.html 工作中遇到C/S的通讯接口测试,经常会遇到由于请求的结构不对或者包发送错误,导致很多问题,通常需要通过抓包工具,把发送的包抓 ...
Day1使用Burpsuite抓包工具抓包，改变UA头使得手机和pc端界面互相转换
1.前期工作:安装Burpsuite工具这里网上有许多教程,大致步骤如下: 找到安装包然后解压缩,然后双击安装jdk,然后就是配置环境变量,如果是默认jdk安装路径没有更改路径的话就是跟如下一样配 ...
计算机网络实验【利用wireshark抓包工具抓包】
一.实验名称使用网络协议分析仪 Wireshark 二.实验目的 1.掌握安装和配置网络协议分析仪Wireshark的方法: 2. 熟悉使用Wireshark工具分析网络协议的基本方法,加深对协议格 ...

使用fiddler抓包工具，抓取斗鱼接口，爬取数据

使用fiddler抓包工具，抓取斗鱼接口，爬取数据相关推荐

最新文章

热门文章