python下载微信公众号文章_Python 抓取微信公众号文章

今天继续向 Python 头条添加数据信息，完成了微信公号的爬虫，接下来会继续通过搜狗的知乎搜索抓取知乎上与 Python 相关的文章、问答。

微信公众号的文章链接有些是具有时效性的，过一段时间会变成参数错误而无法访问，但是我们发现从公众号后台点击过去得到的链接却是永久链接，其参数不会改变链接也不会失效，也就是说只要能够获得这些参数就可以得到永久链接。通过观察发现即使从搜狗搜索入口的有时效性的链接访问网页，其源码中也带有这些参数：

所以只要解析这几个参数，就可以构造出永久链接。

首先通过搜狗搜索入口，可以获取 Python 关键词搜索的结果，地址为：HOST = 'http://weixin.sogou.com/'entry = HOST + "weixin?type=2&query=Python&page={}"复制代码

提取链接、标题和摘要信息：import requests as req

import re

rInfo = r'([\s\S]*?)[\s\S]*?\s*([\s\S]*?)'html = req.get(entry.format(1)) infos = re.findall(rInfo, html)复制代码

由于关键词搜索会在标题或摘要中产生特定格式的标签，需要过滤：def remove_tags(s):

return re.sub(r'<.>', '', s)复制代码

然后根据时效性链接获取文章内容，并从中提取参数信息：from html import unescapefrom urllib.parse import urlencodedef weixin_params(link):

html = req.get(link)

rParams = r'var (biz =.*?".*?");\s*var (sn =.*?".*?");\s*var (mid =.*?".*?");\s*var (idx =.*?".*?");'

params = re.findall(rParams, html) if len(params) == 0:returnNonereturn {i.split('=')[0].strip(): i.split('=', 1)[1].strip('|" ') for i in params[0]}for (link, title, abstract) in infos:

title = unescape(self.remove_tag(title))

abstract = unescape(self.remove_tag(abstract))

params = weixin_params(link)

if params isnotNone:

link = "http://mp.weixin.qq.com/s?" + urlencode(params)

print(link, title, abstract)复制代码

由此可以收集到以 Python 为关键词的微信公众号文章，包括链接、标题和摘要。如需文章内容也可以随时通过链接提取，但是为了尊重创作者，请在抓取文章正文的时候请检查原创信息并合理标注作者及引用信息。

微信公众号的抓取的数据也已经加入到 Python 头条，欢迎移步 pyhub.cc 查看！根据昨天发布的投票信息【为你感兴趣的 Python 专题投票】，看到大家对 Python 的爬虫专题比较感兴趣，因此把今天实践操作的一些内容与大家分享，希望可以有所帮助(还没有投票的抓紧投起来~~)。

题图来源：Captain America: Civil War

python下载微信公众号文章_Python 抓取微信公众号文章相关推荐

python公众号文章_Python 抓取微信公众号文章
起因是刷微信的时候看到一篇文章,Python 抓取微信公众号文章保存成pdf,很容易搜到,就不贴出来了先用chrome登陆微信公众号后台,先获取一下自己的cookie,复制下来就行,解析一下转换成 ...
python公众号文章_Python抓取微信公众号文章
公众号灏泽异谈文章列表链接使用charles分析公众号请求如图 image.png 找有用信息完整URL请求地址完整的请求头(headers)信息,Headers里面包括了cookie.U ...
python简答题及答案查询公众号和软件_Python 抓取微信公众号账号信息的方法
搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号.通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息爬虫 ...
python 公众号文章发布_Python 抓取微信公众号文章
版权声明:此文章转载自 Yushneng PyHub 如需转载请联系听云College团队成员阮小乙,邮箱:ruanqy#tingyun.com 微信公众号的文章链接有些是具有时效性的,过一段时间会变 ...
python爬取公众号文章_python爬取微信公众号历史文章
前几天,朋友有一个爬取某些指定微信公众号的历史文章的需求,刚好自己闲的没事,也就试了一试.不算完美解决问题了吧,但是自己也无能为力了,毕竟腾讯那么牛,斗不过斗不过. 一.思路看了一些别人的文章,综合 ...
python爬虫(17)爬出新高度_抓取微信公众号文章（selenium+phantomjs）
个人博客请访问 http://www.x0100.top 一.思路分析目前所知晓的能够抓取的方法有: 1.微信APP中微信公众号文章链接的直接抓取(http://mp.weixin.qq.com/s ...
python爬取网上文章_python 爬取微信文章
本人想搞个采集微信文章的网站,无奈实在从微信本生无法找到入口链接,网上翻看了大量的资料,发现大家的做法总体来说大同小异,都是以搜狗为入口.下文是笔者整理的一份python爬取微信文章的代码,有兴趣的欢 ...
python爬知识星球付费数据_python抓取知识星球精选帖,制作为pdf文件
版权声明:本文为xing_star原创文章,转载请注明出处! 背景: 这两年知识付费越来越热,我也加入了不少知识星球,总觉得信息有些过载了.一天不看,就有500+的内容显示未读,弄的自己格外的焦虑.感 ...
python微信小程序爬虫_Python爬取微信小程序实战（通用）
背景介绍最近遇到一个需求,大致就是要获取某个小程序上的数据.心想小程序本质上就是移动端加壳的浏览器,所以想到用Python去获取数据.在网上学习了一下如何实现后,记录一下我的实现过程以及所踩过的小坑 ...
python爬虫爬微信数据可信吗_Python爬取微信，我发现了之前没发现的秘密！
技术群里一位读者微信私聊我,问我能不能统计下微信好友信息并以文件形式保存.其实,以前也写过类似的文章,一篇是微信好友性别统计,一篇是制作好友签名的词云图.比较分散,今天就索性把他们整合一下,一次性完成 ...

python下载微信公众号文章_Python 抓取微信公众号文章

python下载微信公众号文章_Python 抓取微信公众号文章相关推荐

最新文章

热门文章