微信公众号爬虫项目（reptile）

代码仓库地址：reptile: 爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统

项目背景

个人在业余时间，写的一个以微信公众号爬虫为主要功能，普通网页爬虫、浏览器控制、邮件群发功能为辅的简单DEMO。功能简单，给开发者巨大的学习和发挥的空间。对spring boot和html有一些经验的人来说，上手简单，学习成本低.

功能介绍

爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统

项目架构

springBoot 单项目架构

已知爬取微信公众号有三种方法：

第一种：用搜狗微信公众号搜过，这个只能收到前10条；(亲试，好多公众号连近10条都获取不到，放弃)

第二种：用fiddler或手机抓包，从访问链接去获得appmsg_token，发现虽然这个值就在html页面里，但只有抓包的数据里含有效值，直接访问的是空的，而且还有时效性。这样，每次都要抓包获取，就很麻烦。

第三种：就是这种用公众号搜公众号的，虽然速度慢点，但便捷了不少。（每天请求次数限制，约为100次）

使用须知

程序原理:

通过selenium登录获取token和cookie，再自动爬取和下载

使用前提：

1、修改项目中Chrome驱动的路径改为自己本地的

微信公众号爬虫项目（reptile）相关推荐

基于Python实现微信公众号爬虫进行数据分析
学爬虫有什么用网络爬虫是一个非常注重实践性而且实用性很强的编程技能,它不是程序员的专属技能,任何具有一定编程基础的人都可以学习爬虫,写爬虫分析股票走势,上链家爬房源分析房价趋势,爬知乎.爬豆瓣.爬新 ...
【开源Python爬虫】微信公众号爬虫weixin_crawler开源啦
作者 | 抽丝剥茧出品 | 爱迪斯微信公众号爬虫weixin_crawler开源啦正式介绍weixin_crawler之前,我准备了两个问题,这两个问题通过weixin_crawler自带的报告 ...
【Python爬虫实战】微信公众号爬虫：微信公众号浏览自动化
本文内容详细介绍微信公众号历史文章自动化浏览脚本的实现,配合服务端对公众号文章数据爬取来实现微信公众号文章数据的采集.服务端爬取实现见:微信公众号爬虫:服务端公众号文章数据采集背景:在团队的学习方面 ...
微信公众号爬虫，看这个就足够了
我订阅了 253 个公众号,有时候想再找之前读过的文章,发现搜索起来特别困难,如果忘了收藏,估计得找半小时,更让人无语的是,文章已经发布者删除,或者文章因违规被删除.那么有没有这样的爬虫,可以将公众号 ...
使用搜狗接口对微信公众号爬虫
搜狗搜索因为有微信公众号搜索的接口,所以通过这个接口就可以实现公众号的爬虫需要安装几个python的库:selenium,pyquery 还使用到phantomjs.exe,这个需要我们自己去下载, ...
微信公众号平台项目开发
什么是微信公众平台微信公众号主要面向名人.政府.媒体.企业等机构推出的合作推广业务.在这里可以通过微信渠道将品牌推广给上亿的微信用户,减少宣传成本,提高品牌知名度,打造更具影响力的品牌形象. 初始微 ...
微信公众号与项目的绑定（笔记）
微信公众号是外网,在开发阶段我们的项目一般是内网,所以应当用内网穿透工具让外网(微信公众号)能够访问我们的项目. 内网穿透工具可以去natapp官网下载,然后申请一个9块钱一个月的隧道. 进入公众号首 ...
微信公众号开发——项目搭建
一前往微信公众平台(https://mp.weixin.qq.com/)获取开发权限和开发账号,公众号分为好几种,小程序,订阅号,服务号,企业号,个人只能用订阅号,权限比较少(api接口权限): 二 ...
微信公众号爬虫（综合解决方案）
最终解决方案通过搜狗微信先检索公众号,获取公众号主页链接,接着爬每一篇具体文章,具体用selenium实现,当然你也可以用webkit.Geoko渲染引擎自己去渲染.用selenium.webkit ...

微信公众号爬虫项目（reptile）

微信公众号爬虫项目（reptile）相关推荐

最新文章

热门文章