使用Fiddler抓公众号数据

前言

Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的 “进出” Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。

》本文案例：利用Fiddler抓取公众号数据
》成果：熟悉抓包软件的使用、学会处理公众号接口数据。

准备工作

微信PC客户端
Fiddler抓包软件（附安装包：Fiddler中文版【提取码：7k7k】）
进入Fiddler软件需要进行证书配置，如下图操作：（配置完成后重新打开软件）

开始抓包

》重启Fiddler后，打开微信公众号，点击查看历史消息，再返回到Fiddler就可以看到返回的数据了（若没看到数据，则返回公众号中往下拉，再查看历史消息）。
》这时，在抓包软件的左侧返回的一大堆网址数据中，找到 ‘Host’ 显示为 'mp.weixin.qq.com' 的那一栏，查看它的 ‘URL’是否返回的是json的数据格式（例："/mp/profile_ext?action=getmsg&_biz=MzIOMD==&f=json&..."），如果是，那么数据接口就被找到了。
》看到的效果是这样的，如下图：
（根据图片，接着执行图中的二、三步骤，就可以查看到发送的请求头信息）

》在抓包软件的右上框的Raw可以查看到请求接口时需要的请求参数有哪些。（如下图）
》在抓包软件的右下框的json可以查看到请求接口时返回来的数据有哪些。（如下图）
【划黄色荧光笔的就是重要的参数，其中右下框的 general_msg_list就是返回的数据内容，可以复制 "list:" 后面的[ ]部分，到http://www.json.cn/中，解析出完整的数据格式出来。// 其中：next_offset=20 是请求后面的20条数据，后面完整代码会用到】

》经过 http://www.json.cn/ 中，解析出完整的数据格式显示如下图（附解释）：

开始爬取数据

》若只是requests+请求头向目标url发送请求的话，是无法返回正确数据的。通过抓包，分析出请求时带上各种token等参数，才能够获取正确的数据，而这些参数都可以在抓包软件中直接复制使用。

》因此构造的请求头信息为如下代码：
（请求头信息中的token参数等会过一阵子失效，所以需要重新再获取重试即可）

querystring = {"action": "getmsg","__biz": "MzI0MDM0MzYwMA==",# biz参数是公众号的ID"f": ["json","json"],"offset": "10",             # 起始条数（后面可用作翻页功能）"count": "10",              # 返回条数"is_ok": "1","scene": "124","uin": "NDM3NzA2NDU",       # uin是用户的ID，目前来看uin是在所有公众号之间唯一的"key": "",                  # key 和 pass_ticket 是微信客户端补充上的参数"pass_ticket": "","wxtoken": "",              # 空"appmsg_token": "",         # token  "x5": "0"# 以上参数都可以在抓包软件中获取到
}
headers = {"host": "mp.weixin.qq.com","connection": "keep-alive","accept": "*/*","user-agent": "",           # 自己的请求头信息（在抓包软件中可以找到）"x-requested-with": "XMLHttpRequest","accept-encoding": "gzip, deflate","accept-language": "zh-CN,zh;q=0.8,en-us;q=0.6,en;q=0.5,q=0.4","cookie": ""                # 自己的cookies（在抓包软件中可以找到）
}

》最终代码如下：

import requests
import json
import time
import os
from bs4 import BeautifulSoupdef start(offset=10):url = "https://mp.weixin.qq.com/mp/profile_ext"  # 需要携带querystring参数到url中querystring = {...      # 参照上面，填入抓包获取到的请求}# 以上 "__biz"、"uin"、"key"、"pass_ticket"、"appmsg_token" 参数都会隔一段时间就变，所以需要定时更改headers = {... # 参照上面，填入抓包获取到的请求}response = requests.get(url=url, headers=headers, params=querystring, verify=False).json()     # 其中verify参数用于关闭SSL验证for item in json.loads(response["general_msg_list"])["list"]:       # 遍历获得每一篇文章urlinfo = {}# 只获取当天置顶的第一篇文章timeStamp = int(item["comm_msg_info"]["datetime"])  # 时间戳timeArray = time.localtime(timeStamp)datetime = time.strftime("%Y-%m-%d", timeArray)info["date"] = datetimeinfo["title"] = item["app_msg_ext_info"]["title"]info["digest"] = item["app_msg_ext_info"]["digest"]info["author"] = item["app_msg_ext_info"]["author"]info["link"] = item["app_msg_ext_info"]["content_url"]try:content = parse(info["link"])               # 调用parse()方法，获取公众号文章内容os.makedirs("./gzh_txt/"+info["author"], exist_ok=True)      # 创建文件夹目录with open("./gzh_txt/"+info["author"] + "/" + info["date"]+"_one.txt", "w", encoding='utf-8') as f:      # 存储文章内容，记得需要编码格式f.write(content)except Exception as e:  # 异常处理print(e)print(info)# 这里还可以编写代码将info数据存储在数据库中if response["next_offset"] < 100:           # "next_offset" 用于请求后面的数据，前面有提到该参数start(response["next_offset"])          # 继续调用start()方法def parse(url):response = requests.get(url=url)soup = BeautifulSoup(response.text, 'lxml')     # 使用 BeautifulSoup 请求content = soup.find('div', class_='rich_media_content').get_text().strip()  # 获取公众号文章内容return contentif __name__ == '__main__':start()

》以上就是本案例的全部内容，主要是掌握Fiddler抓包软件的使用，对公众号接口和数据的分析和存储等。【还有对时间戳、bs4 的使用】
》可参考该文✍：https://www.colabug.com/2018/0523/2941906/