Python 微信公众号文章爬取简单记录一下

一，首先看网上各种资料，个人感觉通过微信公众号平台图来采集比较方便（因为自己有微信公众号）

二，各种借鉴网上前辈们的经验，这几年微信公众平台没啥大改变，接口啥的都没变。

三，爬去方法

1.微信公众号登录页面：微信公众平台

登录只需要设置headers（当然需要账号密码）登录后获取到cookies

  header = {"HOST": "mp.weixin.qq.com",     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"}

2.搜索微信公众号的接口地址：https://mp.weixin.qq.com/cgi-bin/searchbiz?

打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

cookies取自第一步 headers 同第一步 params设置：

params有三个变量 token random query

random 为随机数可以import python自带的random 就能解决

query 是你需要爬取的公众号名称

token：登录后就能获取token

params= {'action': 'search_biz','token' : token,'lang': 'zh_CN','f': 'json','ajax': '1','random': random.random(),'query': query, 'begin': '0','count': '5'}

这一步获取到公众号的 fakeid，

3.微信公众号文章接口地址：https://mp.weixin.qq.com/cgi-bin/appmsg?

这个url需要传入cookies headers params ，

cookies heades 同上 params 为下图

其中token同上，random是随机数 fakeid 为上一步获取到的fakeid

berig 为起始页需要分页爬取的可以写个循环。

 params = {'token': token,'lang': 'zh_CN','f': 'json','ajax': '1','random': random.random(),'action': 'list_ex','begin': 起始页，'count': '5','query': '','fakeid': fakeid,'type': '9'}

这个url 传完这几个参数就能获取到文章了。

四，源代码地址

Python微信公众号文章爬取-Python文档类资源-CSDN下载

Python 微信公众号文章爬取简单记录一下相关推荐

python微信爬取教程_[python]微信公众号文章爬取
[python]微信公众号文章爬取需求爬取一些微信公众号的文章数据来源 1.搜狗微信搜索,可以搜索微信公众号文章,但只能显示该公众号最近十篇的文章 2.通过个人微信公众号中的素材管理,查看其他微 ...
微信公众号文章爬取方法整理
微信公众号文章爬取方法整理 1.用python爬取 http://blog.csdn.net/d1240673769/article/details/75907152 实现方法:通过微信提供的公众号文 ...
python3实现微信公众号文章爬取
基于搜狗微信的文章爬取前言:文章仅用于学习交流,不足之处欢迎小伙伴指正! 一.功能介绍: 已实现功能: 1.爬取搜狗微信上的分类一栏的所有事件及其他的所有标题事件和加载更多,返回文章链接与标题,并存 ...
微信公众号文章爬取下载各种格式
微信公众号阅读成为许多人每天的日常习惯,相信在每天关注的微信公众号中,总会有一些作者在持续地输出优质内容. 这些内容也许是你所处领域的精华,也许其中的观点启人深思,也许是单纯地喜欢上了某个大V的文字. ...
使用WebCollector爬虫框架进行微信公众号文章爬取并持久化
〇.Java爬虫框架有哪些? 1.nutch:Apache下开源爬虫项目,适合做搜索引擎,分布式爬虫只是其中一个功能,功能丰富,文档完整. 2.heritrix:比较成熟,用的人较多,有自己的web管 ...
微信公众号文章爬取 java
通过订阅号的方式抓取,频率和次数都会有限制. 代码只是初稿,简单写的测试类.投入实际使用还需做出一些整理(注). public class PersonSubscriptionTest {privat ...
带大家写一波微信公众号的爬取
开发工具 python版本 : 3.6.4 相关模块: pdfkit模块: requests模块: 以及一些Python自带的模块. 抓包工具: fiddler 环境搭建 python 环境安装Py ...
带大家写一波微信公众号的爬取!谁说微信爬不了的！
开发工具 python版本 : 3.6.4 相关模块: pdfkit模块: requests模块: 以及一些Python自带的模块. 抓包工具: fiddler 环境搭建 python 环境安装Py ...
python微信公众号文章转pdf
python微信公众号文章转pdf 从doxc中提取链接,转换pdf https://www.bbsmax.com/A/Ae5RRb7m5Q/ import os import zipfileimpo ...
python爬取微信公众号_Python爬取微信公众号(中间人代理法)
1.环境:ubuntu16.04 + redis + mysql + python3.5 + anyproxy + android + pm2 + npm + node 一台爬虫服,python3环境 ...

Python 微信公众号文章爬取简单记录一下

Python 微信公众号文章爬取简单记录一下相关推荐

最新文章

热门文章

Python 微信公众号文章爬取 简单记录一下

Python 微信公众号文章爬取 简单记录一下相关推荐

最新文章

热门文章

Python 微信公众号文章爬取简单记录一下

Python 微信公众号文章爬取简单记录一下相关推荐