公众号简单爬虫--把公众号文章全部转载到网站（一）

Ps：经历两个多月家里的麻烦事，泛舟终于又有空更新了。

起因是之前帮一个朋友做一个企业网站，没有啥功能，单纯的展示和发布信息。其实是很简单的事情，随便下载个个人博客源码，改一下，以为就可以了，但是。。。。他要把公众号里的历史信息全部搬到网站上，如果手工一篇一篇复制，那也是及其痛苦的事情，于是泛舟只能用爬虫了。

Ps:本文用51cto的公众号做例子.

好消息是，要的是文章内容，不是点赞数和阅读数，可以免去好大的麻烦。

那么这个任务的目的很简单，复制公众号上的文章，然后粘贴到网站里面。具体需要什么内容呢?安装好网站,然后进入后台,添加文章那里看到:

文章标题,文章作者,文章来源,缩略图,文章描述,文章内容,都是我们需要的内容.其实很好找,除了具体文章内容,其他基本在公众号的历史消息页全部都有了.

就是用爬虫把公众号的所有历史文章都爬下来。然后根据连接,再爬具体网页内容.分两步处理,其中关键是如何爬取历史信息.

需要用到抓包工具Fiddler,思路是这样的:

打开Fiddler软件,清除所有Sessions,

公众号简单爬虫--把公众号文章全部转载到网站（一）相关推荐

公众号简单爬虫--把公众号文章全部转载到网站（三）
公众号简单爬虫--把公众号文章全部转载到网站(三) 根据上一篇的方法,我们得到了一个包含标题,时间,作者,封面,文章连接等信息的json文件.接下来,就是要提取文章详细信息和把一系列的信息写入数据库. ...
Python3简单爬虫之下载相关类型音乐（喜马拉雅网站）！
一,简单介绍python 1.众所周知,python在近几年可以说是非常火爆,在受欢迎排名上经常位于前列 2017年IEEE Spectrum 最新的研究报告 2018年TIOBE 刚刚发布了 6 月 ...
Python3简单爬虫之下载相关类型音乐（喜马拉雅网站）
一,简单介绍python 1.众所周知,python在近几年可以说是非常火爆,在受欢迎排名上经常位于前列 2017年IEEE Spectrum 最新的研究报告 2018年TIOBE 刚刚发布了 6 月 ...
python简单实践作业_【Python】：简单爬虫作业
使用Python编写的图片爬虫作业: #coding=utf-8 import urllib import re def getPage(url): #urllib.urlopen(url[, dat ...
【技术应用】java通过url爬虫获取公众号文章内容
[技术应用]java通过url爬虫获取公众号文章内容一.前言二.解决思路三.爬虫工具四.代码实现 1.爬取公众号文章 2.爬取CSDN文章五.总结一.前言平时在微信或者钉钉发送消息时,会 ...
公众号图文消息加html,微信公众号图文排版，如何给文章或者段落添加背景图？...
你知道如何给微信公众号文章添加背景嘛?今天就从两个方面来分享如何给微信公众号文章添加背景. 一.给全文添加背景首先分享的是给整篇文章添加背景,点击顶部工具栏的插背景按钮可为全文添加背景: 有纯色背景 ...
uni-app 可以做微信公众号吗_2020年公众号还值得做吗？(目标劝退1万人) 为大家提供些思路！新增对微信圈子、视频号、付费文章的简析！...
2020年3月6日再次更新!谢谢各位的阅读和点赞.新补充关于微信圈子.微信视频号.微信付费文章的内容(文章末尾).[4月8日补充新内容: 我被邀请参与视频号内测啦!] ----------分割线--- ...
入门之路：“机器学习初学者”公众号2019年的精选原创文章
"机器学习初学者"公众号2019年的精选原创文章合集,适合初学者入门 AI.本文建议用微信收藏,用碎片时间学习.(黄海广) 导语 AI 初学者最大的问题就是:资料太多!!!看不完! ...
微信公众号自动回复html,[.NET] 简单接入微信公众号开发：实现自动回复
简单接入微信公众号开发:实现自动回复一.前提先申请微信公众号的授权,找到或配置几个关键的信息(开发者ID.开发者密码.IP白名单.令牌和消息加解密密钥等). 二.基本配置信息解读开发者ID:固定 ...

公众号简单爬虫--把公众号文章全部转载到网站（一）

公众号简单爬虫--把公众号文章全部转载到网站（一）相关推荐

最新文章

热门文章