python爬取微信公众号历史消息

目的：使用python的requests模块爬取某微信公众号历史消息
工具：微信桌面版、Fiddler

首先选择目标公众号，通过以下方式进入公众号历史消息

该页面在chrome是打不开的，需要手动设置user agent和cookies。这就需要使用Fiddler进行抓包。
可以看到，该页面默认只加载十条历史记录。想获得更多内容，需要通过下拉显示下一页，内容通过json形式发送给用户。

通过Fiddler，可以抓取该json的url地址。

复制该url地址到chrome，发现可以成功访问。
例如：https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzA4ODc5NTEwNA==&f=json&offset=10&count=10&is_ok=1&scene=124&uin=ODMzNDA1OTQw&key=7bff9aeaa7d2e313ece438d8750df91e2ee7c918e4889f5086aa87cffe8010ad846d7eb0578885658f2ee4fb9ed69053c08c15a0481cabf0d743a82d4b4af9f73cdc7939d0b9ea923f8cc0a93356895b&pass_ticket=ngZPZ0%2BJiY6lPH98KDdFLCqiV6%2Fq%2B1DnuXDmzokdDHgRNHYLUKfHumcMUyRDwCCA&wxtoken=&appmsg_token=1055_pix9MJOv9Gosf24lBzDdPDCpfvl6MFixfq3YEw~~&x5=0&f=json
其中offset=10表示定位，通过修改该数值可以达到翻页的效果。如offse=0表示第一页。
值得注意的是，该url地址每隔一段时间会失效，目前没有找到合适的解决方法。

箭头指向即为具体的历史消息的真实url地址。
以上，前期准备工作基本完成，接下来只需要手动设置user agent、cookies和params进行get请求即可。
大概代码如下：

import requests
from lxml import html
etree = html.etree
import re
import jsonurl = your url
cookies = {your cookies}
headers = {your headers}
params = {your params}requests.packages.urllib3.disable_warnings()
response = requests.get(url=url, headers=headers, cookies=cookies, params=params, verify=False)
html_str = response.content.decode()
ret = re.findall(r"next url", html_str)for i in ret:url_detail = iresponse_detail = requests.get(url=url_detail, headers=headers, cookies=cookies, params=params, verify=False)# ......# do your work# ......

python爬取微信公众号历史消息相关推荐

Python爬取微信公众号历史文章进行数据分析，发现2017年运营总结，可以这样写!...
作者:刘晓明,互联网公司运维技术负责人,拥有10年的互联网开发和运维经验.一直致力于运维工具的开发和运维专家服务的推进,赋能开发,提高效能. 广告时间:最后给自己代个盐~~欢迎大家有空时翻下我牌子(知 ...
html如何获取请求头变量的值。_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
python 微信公众号发文章_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
如何用python爬取公众号文章_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
python爬虫爬取微信_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
python爬取正确但不出文件_使用Python爬取微信公众号文章并保存为PDF文件(解决图片不显示的问题)...
前言第一次写博客,主要内容是爬取微信公众号的文章,将文章以PDF格式保存在本地. 爬取微信公众号文章(使用wechatsogou) 1.安装 pip install wechatsogou --up ...
python爬取微信公众号文章（包含文章内容和图片）
之前虽然做过网页爬取,但微信爬取一直没做过,因为我一直不知道网页可以进微信公众平台,只用过微信客户端进微信公众号.既然可以通过网页进微信公众平台,那么爬取微信公众号文章就流程上就没太多难度了. 自己在 ...
python爬取微信公众号_python使用webdriver爬取微信公众号
本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码,供大家参考,具体内容如下 # -*- coding: utf-8 -*- from selenium import we ...

python爬取微信公众号历史消息

python爬取微信公众号历史消息相关推荐

最新文章

热门文章