前言

用Python爬取QQ群成员信息数据

提示：以下是本篇文章正文内容，下面案例可供参考

一、抓包

我们进入qun.qq.com登录自己的账号、选择一个群进入，打开抓包工具，向下滑动页面，可以抓到一个数据包其中包含了20个成员的信息，有网名、QQ、发言时间等等

现在我们来观察他的url和所带参数，找到他的规律，我们可以看到参数中st和end应该就是表示的页数，意思应该是从第21个到41个，至于gc、bkn应该表示的账号和群组，我们刷新页面抓取第一页的数据包观察发现 gc、bkn、sort参数都没变，唯独st和end变了，可见st和end就是表示页数的关键

https://qun.qq.com/cgi-bin/qun_mgr/search_group_members
参数：
gc: 自己抓包获取
st: 0
end: 20
sort: 0
bkn: 自己抓包获取参数：
gc: 自己抓包获取
st: 21
end: 41
sort: 0
bkn: 自己抓包获取

二、代码

我们已经知道了数据页数变化的规律，现在我们来实现其代码的操作

首先写一个函数用于生成Params并传入列表中

def Params_list(self):Params_list=[]for i in range(96):st=i*20+iend=st+20params={"gc": 自己抓包获取,"st": st,"end": end,"sort": 0,"bkn": 自己抓包获取}Params_list.append(params)return Params_list

在写一个函数用于访问页面获取数据

def Get_Data(self,params):try:url="https://qun.qq.com/cgi-bin/qun_mgr/search_group_members"head={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36','cookie':'tvfe_boss_uuid=3eec8ab61924dc8d; pgv_pvid=5532717881; RK=CnIgT93OeT; ptcz=1a3ce7dF; traceid=5a73ddf726'}data=requests.get(url=url,headers=head,params=params).json()for da in data["mems"]:with open(".//QQ_Group.csv", "a+", encoding="utf-8") as f:writer = csv.DictWriter(f, da.keys())writer.writerow(da)except Exception as e:print(e)pass

最后有了params列表便可以传入Get_Data函数中获取数据

如果你对爬虫感兴趣，可看我主页已经更新多个爬虫项目、所有爬虫项目代码均在公众号“阿虚学Python”中，本次源码回复“QQ群”获取

谢谢大家的观看

转载请标明出处

爬虫项目十六：用 Python 三十行代码采集QQ群成员信息，很简单相关推荐

python 写脚本获取qq好友地理位置_Python获取统计自己的qq群成员信息的方法
这篇文章主要介绍了Python获取统计自己的qq群成员信息的方法,本文分步骤给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下首先说明一下需要使用的工具以及技术:python3 + ...
python抓取qq群消息_Python获取统计自己的qq群成员信息的方法
首先说明一下需要使用的工具以及技术:python3 + selenium selenium安装方法:pip install selenium 前提:获取自己的qq群成员信息,自己必须是群主或者管理员, ...
Python三十行代码实现简单人脸识别
Python三十行代码实现简单人脸识别一.库介绍 opencv,face_recognition,numpy,以及dlib 注意: 安装opencv速度可能过慢,需要更换国内镜像源,参考:https ...
利用python获取自己的qq群成员信息！
利用python获取自己的qq群成员信息! 首先说明一下需要使用的工具以及技术:python3 + selenium ,如有兴趣可以加群交流噢 selenium安装方法:pip install sel ...
python 获取qq群成员信息_[Python-ItChat]获取微信所有好友, 群信息(群内人员),批量添加好友,自动发送信息等...
New 09.10 降低使用门槛, 编译生成exe 使用方法下载exe,双击, 然后扫码-> 同级目录下生成friends.txt和chatrooms.txt[格式为json]对应的是好友列表 ...
python 获取qq群成员信息_python 获取qq群成员列表数据
#!/usr/bin/python # -*- coding: utf-8 -*- import re import time import xlsxwriter from selenium impo ...
爬虫项目十四：Python爬下豆瓣《我的姐姐》两千条影评，看看大家对其评价如何
文章目录前言一.分析URL 二.获取影评三.代码实现四.词云前言爬取豆瓣影评,爬虫代码已经封装好,修改请求头和url即可采集你想要采集的电影影评提示:以下是本篇文章正文内容,下面案例可 ...
python一千行入门代码-用Python三十行代码快速生成1000条随机评教内容
随着大家使用评教的人越来越多,评教的内容确实一尘不变,有点不太好,所以昨天花了一个晚上的时间,用Python撸了一个随机生成评教内容的程序. 代码已经全部推送到github上,点击阅读原文查看原理很 ...
python 获取qq群成员信息_教你用python爬取自己加入的QQ群成员名单，它们竟然是这样的人...
本次实验环境: 操作系统:Mac OS 开发语言:python 3.6 IDE:jupyter notebook(建议使用) 浏览器:Chrome(版本75.0.3770.100) 需要用到的库:se ...
python 获取qq群成员信息_用Python编写工具获取QQ群成员的昵称和号码,使用,及,小...
使用火狐浏览器进行数据的抓取,火狐浏览器对json比较友好进入QQ群官网: 登录后,点击成员管理: 先随机选择一个群,抓取一下信息,找一下规律打开浏览器控制台,重新刷新网页: 这是我们想要的一些信 ...

爬虫项目十六：用 Python 三十行代码采集QQ群成员信息，很简单

文章目录

前言

一、抓包

二、代码

爬虫项目十六：用 Python 三十行代码采集QQ群成员信息，很简单相关推荐

最新文章

热门文章