本次实验环境：

操作系统：Mac OS

开发语言：python 3.6

IDE：jupyter notebook(建议使用)

浏览器：Chrome(版本75.0.3770.100)

需要用到的库：selenium、bs4、time、datetime、pandas、os。

QQ群的主页为：https://qun.qq.com/member.html。如果想查阅群号为123456的主页，则在主页URL后面加上#gid=123456。即我们想爬取群号为123456的群成员，需要请求的URL为：https://qun.qq.com/member.html#gid=123456

如果正常登陆页面，第一步需要扫码登陆。如果在电脑端已经登陆过QQ的话，则可以通过选择相应的QQ用户进行登陆。登陆后，页面的架构可能会有两种：一种是无群成员积分等级的，如下所示：

另外，一种有群成员积分等级的：

对于两种不同的架构，代码细节上有点出入。不过在本次实验中会识别出是否有群成员积分等级，再获取字段数据。

程序会先创建一个文件夹，用于存放数据集。文件夹命令方式：dataset + yyyymmdd(本日日期)。如果文件夹已存在，则放弃创建。

爬虫开始时，先用selenium模拟打开浏览器，现在selenium为3.x版本，需要下载相应的插件才能启动，否则会报错。对于Chrome浏览器，插件下载地址：ChromeDriver Mirror​npm.taobao.org

对于火狐的话：https://github.com/mozilla/geckodriver/releases下载/​github.com

下载的时候必须选择与自己浏览器版本相照应的插件版本。

下载完成后解压，并把解压内容添加到python环境变量中去，又或者复制到浏览器安装目录文件中，又或者在代码允许selenium的时候制定插件路径(本次实验中使用的方法)。

代码运行后，会自动弹出新的浏览器，扫码或者点击登陆后，只能展示前面20个左右的群成员名单，需要不停下拉到底部，才能加载到完整的名单信息。在这里通过代码实现。

获取到完整的页面信息后，用BeautifulSoup进行提取数据，并用pandas汇成表格，保存到本地。

具体代码如下(请重点留意代码注释，涉及很多细节。甚至对于不同的操作系统、浏览器也有提醒)：

from selenium import webdriver

from bs4 import BeautifulSoup

import time

import datetime

import os

import pandas as pd

​

def save_data(driver):

res = driver.page_source # 获取源码

driver.quit() # 关闭浏览器

soup = BeautifulSoup(res,"lxml")

html = soup.select("td")

## 先用第2、3 个成员判断一下有无 字段

age_2 = html[ 2 * 10 + 6].text.replace("\t", "").replace("\n", "") ## Q龄

age_3 = html[ 2 * 10 + 6].text.replace("\t", "").replace("\n", "") ## Q龄

data = []

if "年" in age_2 and "年" in age_3: ## 说明无

for i in range(5000): ## 每个群最大5000人

try:

item = []

for j in range(2,9):

lineArr = html[ i*10 + j].text.replace("\t", "").replace("\n", "")

item.append(lineArr) ## 添加每个成员的信息，

data.append(item)

except:

break

cols = ['群成员', '群名片', 'QQ号', '性别', 'Q龄', '入群时间', '最后发言时间']

df = pd.DataFrame(data = data, columns = cols)

if "年" not in age_2 or "年" not in age_3: ## 说明有

for i in range(5000): ## 每个群最大5000人

try:

item = []

for j in range(2,10):

lineArr = html[ i*11 + j].text.replace("\t", "").replace("\n", "")

item.append(lineArr) ## 添加每个成员的信息，

data.append(item)

except:

break

cols = ['群成员', '群名片', 'QQ号', '性别', 'Q龄', '入群时间', '等级积分', '最后发言时间']

df = pd.DataFrame(data = data, columns = cols)

## 文件命令方式：路径path：./dataset_yyyymmdd/

## 文件名name：群号 + .csv

df.to_csv("./dataset_" + now[:8] + "/" + group_id + '.csv',

encoding = 'utf-8',

index = None)

return df

​

​

def scroll_foot(driver):

'''下拉界面'''

js="var q=document.documentElement.scrollTop=100000"

return driver.execute_script(js)

now = datetime.datetime.today().strftime("%Y%m%d")

try: ## 创建一个文件夹，用于存放数据集。文件夹命令方式：dataset + yyyymmdd(本日日期)

file = os.mkdir("dataset_" + now)

except: ## 如果文件夹已存在，则放弃创建

pass

​

​group_id = '189200265​' ## 需要爬取的群号

url = 'https://qun.qq.com/member.html#gid={}'.format(group_id)

​

driver = webdriver.Chrome(executable_path = '/Users/apricity/Desktop/chromedriver') # 手动输入插件路径

# driver = webdriver.Firefox() ## 如果是火狐浏览器可以用这行代码替换掉上面的

driver.get(url=url)

​

## 允许完上面代码后请确认登陆了再运行下面程序

## 可以利用time.sleep 给自己x秒内登陆完成后再自动执行下面程序

time.sleep(10)

​

max_n = 0

while max_n < len(driver.page_source):

max_n = len(driver.page_source)

scroll_foot(driver)

time.sleep(2.5) ## 每2.5秒下拉一次刷新名单，直至刷新不到新名单位置

df = save_data(driver) ## 保存本地数据

df.head()

以下是本人随便抽了一个群进行爬取的结果展示：

完整代码操作流程视频：https://www.zhihu.com/video/1127891777956483072