python爬虫爬取微信公众号历史文章链接
一、最近公司有了要爬取微信公众号文章链接的需求，之前最初接触爬公众号文章的时候，用的是搜狗微信，在这个上面可以搜到相关的微信公众号文章，但是这些链接是有时效性的，第二天链接就打不开了（不知道现在是多久），当然如果是要抓文章内容的，可以用这种方法，但是如果要抓文章的URL，那就不行了，只能另寻别的方法。
二、期间我试了网上的各种方法，比如微信公众号发布平台，这个的cookie也是有时效性，具体是多久网上说多久的都有，当然这确实是一种方法，同时我自己也在寻找别的方法。
我的方法是使用fiddler抓包抓到pc端微信的公众号历史文章的URL，然后再浏览器打开，发现打不开，然后我就发现请求头信息里还有一个referer（看下图），抱着试试看的态度，发现可以用本地浏览器打开，而且是有数据的，那就好办了啊，直接用selenium哐哐的爬，目前没有发现啥限制。
三、唯一的是这个历史文章的URL是有时效性的，在两个半小时左右，还有一点需要注意，referer这个URL要去掉__biz=MjM5MzA1NzgyMA==后面的部分，如果不去掉，时效性只有半个小时，亲测，biz这个参数就不多说了吧，大家都知道是啥。虽然历史文章的URL有时效性，但是单个文章的URL是永久有效的啊，这就达到了公司需求，文章的URL也可以去除掉一些没用的后缀，具体你们可以自己去看。
好了，关于微信公众号文章的爬取，今天的分享就到这了。
python爬虫爬取微信公众号历史文章链接相关推荐
- python爬虫——爬取微信公众号的文章及图片
参考 爬取公众号所有文章 想要爬取微信公众号的所有文章,微信只有文章是有地址的,如何找到这个公众号的所有文章呢? 找到该公众号的链接 打开公众号平台,找到创作图文消息 这样就找到了微信号 打开检查模式 ...
- python爬虫爬取微信_Python爬虫爬取微信公众号历史文章全部链接
因为朋友问我能不能找一下一个微信公众号的全部历史文章的链接,我就帮他弄了一下,通过百度和谷歌发现现在大家爬微信公众号的思路基本都是下面两种: 通过搜狗搜索微信公众号然后拿到链接 通过fiddler检测 ...
- python公众号文章爬虫_Python爬虫爬取微信公众号历史文章全部链接
因为朋友问我能不能找一下一个微信公众号的全部历史文章的链接,我就帮他弄了一下,通过百度和谷歌发现现在大家爬微信公众号的思路基本都是下面两种: 通过搜狗搜索微信公众号然后拿到链接 通过fiddler检测 ...
- python爬取公众号历史文章_Python爬虫爬取微信公众号历史文章全部链接
因为朋友问我能不能找一下一个微信公众号的全部历史文章的链接,我就帮他弄了一下,通过百度和谷歌发现现在大家爬微信公众号的思路基本都是下面两种: 通过搜狗搜索微信公众号然后拿到链接 通过fiddler检测 ...
- python爬虫爬取微信公众号小程序信息
python爬虫爬取微信公众号小程序信息 爬取内容 某汽车维修信息提供的维修店名称,地点以及电话(手机)号码 爬取步骤 啥也别管,先抓包看看,在这里,博主使用的抓包软件是charles 抓包:将网络传 ...
- [python爬虫]爬取微信公众号
爬取微信公众号 微信公众号接口 使用的包 需要的三个文件(Account.cookie.list) 代码如下 显示结果 总 结 微信公众号接口 目前是个功能需要一个微信号并且允许网页微信登陆,我们就是 ...
- 订阅号微信公众号历史文章爬虫php,2019.9月最新爬取微信公众号历史文章的办法...
版权申明 原创文章:本博所有原创文章,欢迎转载,转载请注明出处,并联系本人取得授权. 版权邮箱地址:banquan@mrdwy.com 简介 我反复试了网上各种方法,都可能已经过时,或者无法使用,我这 ...
- Python爬取微信公众号历史文章进行数据分析，发现2017年运营总结，可以这样写!...
作者:刘晓明,互联网公司运维技术负责人,拥有10年的互联网开发和运维经验.一直致力于运维工具的开发和运维专家服务的推进,赋能开发,提高效能. 广告时间:最后给自己代个盐~~欢迎大家有空时翻下我牌子(知 ...
- python爬取公众号文章_python爬取微信公众号历史文章
前几天,朋友有一个爬取某些指定微信公众号的历史文章的需求,刚好自己闲的没事,也就试了一试.不算完美解决问题了吧,但是自己也无能为力了,毕竟腾讯那么牛,斗不过斗不过. 一.思路 看了一些别人的文章,综合 ...
- python爬取论文全文数据_Python爬取微信公众号历史文章进行数据分析
思路: 1. 安装代理AnProxy,在手机端安装CA证书,启动代理,设置手机代理: 2. 获取目标微信公众号的__biz; 3. 进入微信公众号的历史页面: 4. 使用Monkeyrunner控制滑 ...
最新文章
- django 框架中应用 redis 集群
- 这份工程师简历火了：手磨14nm咖啡，在微软传播性病，90%公司伸橄榄枝
- 安装最新版本的ReSharper导致原生全局搜索工具的消失问题
- Nature论文解读 | 基于深度学习和心脏影像预测生存概率
- 《算法竞赛入门经典》 例题5-2 木块问题（The Blocks Problem，UVa 101）
- AliOS Things 基于组件化思想的多bin特性
- jQuery基础学习笔记(上)
- leetcode 1185 python
- 实现企业员工外出登记(二)
- 结合element-ui封装的一个分页函数
- 2013，安全管理平台（SOC）业务的重新崛起
- python tkinter listbox控件 简书_python tkinter模块的控件操作(1)
- 2022年中青杯数学建模B题初步思路
- linux系统查看加密狗,[原创]linux下hasp(srm)加密狗的数据监控
- 程序员的奋斗史（三十一）——人在囧途之应聘篇（一）
- 【Uplift】评估方法篇
- Linux学习和阿里云服务器的配置(感谢秦老师)
- airsim手动控制无人机-详细搭建过程
- Spark Streaming简介 (三十四)
- raid5阵列两块硬盘掉线如何恢复阵列中的数据库