微信公众号文章采集方案
方案一：基于搜狗入口
在网上能搜索到的公众号文章采集相关的信息来看来看，这是最多、最直接、也是最简单的一种方案。
一般流程是：
- 搜狗微信搜索入口进行公众号搜索
- 选取公众号进入公众号历史文章列表
- 通过文章列表获取文章链接，通过文章链接获取文章内容
- 对文章内容进行解析入库
采集过于频繁的话，搜狗搜索和公众号历史文章列表访问都会出现验证码。直接采用一般的脚本采集是无法拿到验证码的。这里可以使用无头浏览器来进行访问,通过对接打码平台识别验证码。无头浏览器可采用selenium。
即便采用无头浏览器同样存在问题：
- 效率低下（实际上就是在跑一个完整的浏览器来模拟人类操作）
- 网页资源浏览器加载难以控制，脚本对浏览器加载很难控制
- 验证码识别也无法做到100%，中途很可能会打断抓取流程
如果坚持使用搜狗入口并想进行完美采集的话只有增加代理IP。顺便说一句，公开免费的IP地址就别想了，非常不稳定，而且基本都被微信给封了。
除了面临搜狗/微信的反爬虫机制之外，采用此方案还有其他的缺点：
- 无法获得阅读数、点赞数等用于评估文章质量的关键信息
- 无法及时获得已经发布公众号文章，只能作定期的重复爬取
- 只能获得最近十条群发文章
方案二：对手机微信进行中间人攻击
中间人攻击本是某种黑客手法，用于截取客户端与服务端之间的通信信息。这种方案的思路是在手机微信和微信服务器之间搭建一个“HTTPS代理”，用于截获手机微信获取的公众号文章信息。一般性步骤是：
- 手机微信搜索一个公众号
- 点击进入公众号历史文章页面
- 代理识别已经进入列表页，进行内容截获，同时根据实际情况返回继续下拉或爬取新的公众号的js代码
这种方案能够实现自动化的原因是：
- 微信公众号使用的是HTTPS协议，且内容未加密
- 微信公众号文章列表和详情本质上是个Web页面，可以嵌入js代码进行控制
这种方案的优点：
- 一般情况下不会被屏蔽
- 能拿到点赞数和阅读数等文章评估信息
- 能拿到公众号全部的历史文章
当然，也存在很多缺点：
- 需要一个长期联网的实体手机
- 前期需要设置代理，工作量比较大
- 本质上还是个轮查的过程，而不是实时推送
- 同样有Web加载难以控制的风险，且本地网络环境对其影响非常大
- 存在着微信接口发生变更代码不再适应的情况
这种方案还存在着一些变种，比如：
- 通过lua脚本控制公众号搜索而不是靠代理返回嵌入的js代码
- 通过GUI操作脚本控制PC端微信
但都存在“不能精确稳定控制”的缺点
方案三：网页微信抓包分析
在被微信反爬虫虐了很长时间之后，和同事大脑风暴寻找新的微信公众号文章爬取方案。就分析有哪些能获得数据的入口。模糊记得网页微信是有公众号文章阅读功能的，正好我曾把玩过一段时间个人微信机器人，主要使用的是ItChat这个Python包。它实现的原理就是对网页微信进行抓包分析，汇总成个人微信接口，目标就是所有网页微信能实现的功能它都能实现。。所以就有了一个初步的方案——通过ItChat让微信公众号文章自己推送过来。快下班的时候和同事提了一下，他也挺感兴趣，第二天就实现出来了验证代码（ItChat实现相应功能代码非常简短，内容解析部分之前就做了，可以直接用）。
这种方案的主要流程是：
- 手机微信关注要抓取的目标公众号
- 服务器端通过ItChat登录网页微信
- 当公众号发布新文章推送的时候，会被服务端截获进行后续的解析入库
这种方案的优点是：
- 基本零间隔获取已经发布的公众号文章
- 能获取点赞数、阅读数
- 只需手机微信保持登陆，不用其他操作
当然缺点也是有的：
- 需要一台长期联网的手机
- 手机微信不能主动退出，或长时间掉线
- 一个微信一天能够关注的公众号有限
- 新微信号不能登陆网页微信，也就不能用于此方案
- 只能获取最新发布的文章，无法获取历史文章
微信公众号文章采集基本上就是和腾讯斗智斗勇，费心费力。直到现在也没能找到一个完美的解决方案，只能根据实际的采集目标，择优选取。要完全服务端，不依赖手机微信，不需要点赞数阅读数，有大量代理IP就采用方案一；本地网络稳定且有富裕的手机就用方案二；需要及时获得公众号发布的最新文章的话就用方案三。
写的比较杂乱，见谅！
祝我早点脱坑！
来源：https://www.cnblogs.com/taceywong/p/7601771.html
微信公众号文章采集方案相关推荐
- python采集微信公众号_Python爬虫，微信公众号文章采集工具
#微信公众号文章采集 import requests from lxml import etree import re import os def get_con(url): #url="h ...
- 微信公众号文章采集的一些基础概念
此文已在本人知乎号上首发: 微信公众号文章采集的一些基础概念 背景 经常有人问我微信文章采集相关的基础常识问题,对于新手来说,一些概念性的问题确实不太了解.但经常被问得也烦了,所以单独写一篇文章总结一 ...
- 微信公众号文章采集获取方案附接口说明-文章阅读点赞在看数获取工具接口
更多方案详细分析流程和接口说明地址:根据文章链接获取点赞阅读 | 全网公号数据 搜狗微信采集 注意:此方法列表内容已经采集不到了,可用性基本不高,只能作为补充使用(一般没人使用) 在网上可以找到很多针 ...
- 微信公众号文章采集_一键导出Excel-蚂蚁舆情
蚂蚁舆情是一款基于舆情的运营工具,目前支持公众号平台,主要提供优质的公众号/文章搜索功能,以及相关的报表下载功能,本文将介绍如何使用蚂蚁舆情导出微信文章. 首先,在官网注册账号后,登陆进去,点击[任务 ...
- 最新微信公众号文章采集发布到destoon网站，免费教程！
DESTOON B2B网站管理系统是一套基于PHP+MySQL的开源B2B电子商务行业门户网站解决方案,当前已发布会员.分站.商城.供应.求购.行情.公司.展会.文章.信息.品牌.团购.图库.专题.视 ...
- 微信公众号文章采集 爬取微信文章 采集公众号的阅读数和点赞数？
获取微信key工具:fiddler2+phpstudy 本文介绍的是获取的是公众号key,不是万能微信key.不过思路类似. 我已经找了微信万能key的方法,不过是万万不能说的,嘿嘿 phpstudy ...
- 关于微信公众号文章抓取
今天公司要我抓取微信公众号文章,我百度了半天得到的方法有三种: 具体内容我就不复制了请去下面这个链接去看,写的挺好 微信公众号文章采集方案 在三者中我选择了比较稳妥的第二种:对手机微信进行中间人攻击 ...
- 【微信采集助手】Python Tkinter 微信公众号文章批量采集工具
现如今大部分优质内容都是闭环的,都在移动端,app端,或者百度都无法搜录到,比如微信公众号文章内容,而且这些地方还存在着比较高质量的内容,大部分人都有着这方面的采集需求! 其实前面本渣渣已经写过了一篇 ...
- 最新微信公众号文章数据导出软件工具
相信大家经常都会使用微信软件,对于微信公众号都不陌生,有很多人都会经常阅读公众号的文章.下面集宝数据就给大家说说如何找到好用的微信公众号文章采集器? 如何找到好用的微信公众号文章采集器 第一步:首先, ...
- 爬虫实战教程：采集微信公众号文章
一.场景简介 1.场景描述:通过搜狗采集微信公众号的文章 2.入口网址:https://weixin.sogou.com/weixin?type=1&s_from=input&quer ...
最新文章
- 全球第五大社交网站，二号员工离职创业，自爆心酸历程！想做10亿美元规模？先活着！...
- MIT_18.03_微分方程_Fourier_Series_傅里叶级数_Notes
- web app会遇到那些问题
- 能源36号文解读_中国能源报
- 北师大本科毕业需要过计算机二级吗,全国计算机二级
- c# mysql varbinary_Mysql中如何插入VarBinary二进制类型？
- Python 爬虫小程序（正则表达式的应用）
- try catch finally的执行顺序到底是怎样的？
- 解决MMC不能打开文件MSC文件(转)
- Java：List判空的条件：List=null 和 List.size = 0 当需要对一个LIst进行判空操作时我们可使用如下两个语句：
- win10的js文件-bat脚本-开启移动热点
- 恩施州推进大数据监督检查工作规范化常态化
- 人脸识别之一图像采集及人脸库的建立
- Fortran95基础知识学习
- 从闪迪的一个U盘看整个行业
- c语言中node是数据类型吗,lnode(数据结构lnode是什么类型)
- 四 实例 图像的手绘效果
- SICK光纤传感器WLL180T-P432
- u8如何备份文件服务器,用友u8 数据备份到云服务器
- opencv 棋盘标定