如何利用Python网络爬虫抓取微信朋友圈的动态
1.引言
最近初学Python,写爬虫上瘾。爬了豆瓣练手,又爬了公司的论坛生成词云分析年度关键词。最近琢磨着2017又仅剩两月了,我的年度关键词是啥?
所以自然想到爬取下自己的微信朋友圈,来个词频分析,生成属于自己的年度关键词词云。
朋友圈的爬取是非常有难度的,因为微信根本没有暴露API入口去爬取数据。
但它山之石,可以攻玉。
通过各种搜索发现,已经有第三方工具可以做到朋友圈的导出。其中微信公众号【出书啦】就提供了这样一种服务,支持朋友圈导出,并排版生成微信书。
而对朋友圈的爬取就是基于【出书啦】爬取朋友圈后生成网页后的二次爬取。
有点爬虫经验的,只要拿到导出朋友圈的URL,后面的爬虫就不足为道了。但本着分享和总结的精神,还是和大家娓娓道来。
=文中涉及个人隐私内容做了特殊处理=
2.获取朋友圈数据入口
上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。
具体步骤很简单:
- 关注【出书啦】微信公众号
- 点击【创作书籍】-->【微信书】-->【开始制作】-->【添加随机分配的出书啦小编为好友即可】
- 稍等片刻,微信书制作完毕,会收到小编发送的消息提醒,如下图所示。
点击上图的链接,我们就可以看到按照月份重新排版的朋友圈数据,如下图所示:
至此,我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。
写过爬虫的,后面就可以直接略过了。
当然,没写过爬虫也不想动手的,也可以把【出书啦】生成的微信书链接留言或私信给我,我帮你获取年度关键词。
3.环境准备
本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud,使用VS Code IDE。
- Scrapy为Python中比较流行的爬虫框架。
- Jieba是比较好用的中文分词模块。
- Wordcloud 用于生成词云。
4.生成爬虫项目
第一步:命令行执行scrapy startproject weixin_moment
,生成Scrapy爬虫项目。
第二步:进入创建的weixin_moment目录,执行scrapy genspider 'moment' 'chushu.la'
创建朋友圈爬虫。
执行以上两步后的文件夹结构如下:
5.分析数据源
数据的准确抓取,需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩,F12开发者工具用起来。
从上图我们可以看出这是一个get请求,返回的json类型格式数据。
点击Preview页签可以看到如下图所示的数据:
从图中可以看到返回的目录导航数据包,其数据是按月份进行加载的。当点击导航按钮,其加载对应月份的朋友圈数据。
我们点击【2014-3】再观察网络请求,发现如下请求:
从以上数据我们可以明细看出,其采用的是用json传参的post的方式请求数据包。点击Preview页签,看到返回的分页JSON数据包。
展开某个节点,我们可以发现朋友圈数据藏在data/paras节点下。
至此,我们完成数据的来源分析。
6.蜘蛛来也
完成了数据源分析,我们只需构造数据请求,并进行正确的数据解析,即可拿到我们想要的数据!
6.1.请求导航数据包
修改moment.py定义start_requests
方法:
bookid = '12345678' #请填写【出书啦】返回链接中的数字部分
def start_requests(self):"""使用get方式请求导航数据包"""url = 'http://chushu.la/api/book/chushula-{0}?isAjax=1'.format(self.bookid) #获取目录的urlyield scrapy.Request(url, callback=self.parse)
重载parse
方法,解析获取到的导航数据包:
def parse(self, response):"""处理获取到的导航数据包"""json_body = json.loads(response.body) #加载json数据包catalogs = json_body['book']['catalogs'] #获取json中的目录数据包
6.2. 发送导航请求,抓取朋友圈数据
根据上面跟踪到发出的http导航请求,要想抓取到朋友圈数据,我们需要根据发出的请求参数构造参数。
从上图可知,主要包含五个参数:
- type:"year_month"为默认值
- year: 年份
- month: 月份
- index: 第几页
- value : 由年月拼接的字符串
继续修改我们的parse
方法,遍历我们第一步抓取到的导航数据包构造请求参数:
def parse(self, response):"""处理获取到的导航数据包"""json_body = json.loads(response.body) #加载json数据包catalogs = json_body['book']['catalogs'] #获取json中的目录数据包url = 'http://chushu.la/api/book/wx/chushula-{0}/pages?isAjax=1'.format(self.bookid) #分页数据urlstart_page = int(catalogs[0]['month']) #获取起始月份作为index传值for catalog in catalogs:year = catalog['year']month = catalog['month']formdata = {"type": 'year_month',"year": year,"month": month,"index": str(start_page),"value": 'v_{0}{1}'.format(year, month)}start_page += 1
因为从我们跟踪到的http请求来看是基于json传参的post请求:
所以我们要这样发起请求:
yield scrapy.Request(url,method='POST',body=json.dumps(formdata),headers={'Content-Type': 'application/json'},callback=self.parse_moment)
同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义parse_moment
方法,根据返回的json数据包进行数据提取:
def parse_moment(self, response):"""朋友圈数据处理"""json_body = json.loads(response.body)pages = json_body['pages']pattern = re.compile(u"[\u4e00-\u9fa5]+") #匹配中文item = WeixinMomentItem()for page in pages:if (page['type'] == "weixin_moment_page"):# 仅抓取朋友圈分页数据paras = page['data']['paras']if paras:moment = ''for content in paras[0]['rows']:result = re.findall(pattern,content['data']) #使用正则匹配所有中文朋友圈moment += ''.join(result)item['moment'] = momentitem['date'] = page['data']['dateText']#获取时间yield item
以上用到了定义的WeixinMomentItem
。修改items.py,做如下修改:
class WeixinMomentItem(scrapy.Item):"""朋友圈Item"""# define the fields for your item here like:# name = scrapy.Field()date = scrapy.Field() #日期moment = scrapy.Field() #朋友圈文字
至此我们完成爬虫的书写。是不是迫不及待跑一下。
6.3. 蜘蛛爬起来
命令行执行scrapy crawl moment -o moment.json
,稍等片刻,热乎的朋友圈数据就生成到moment.json文件中了。
7. 分词处理
jieba中文分词提供了便利的接口用于分词和词频统计。我们直接调用jieba.cut
方法即可得到分词结果。在此之前我们需要加载我们爬取的朋友圈数据,即保存到moment.json文件中的数据,并拼接所有朋友圈文本传参至jieba.cut
即可。
新添加一个analyse.py
文件,定义analyse_words
方法:
# -*- coding: utf-8 -*-"""分析导出的朋友圈数据"""import json
import osimport jieba
from wordcloud import WordClouddef analyse_words():"""分析抓取到的朋友圈数据,使用jieba进行分词,使用wordcloud生成词云"""curr_path = os.path.dirname(__file__) # 当前文件文件夹所在目录parent_path = os.path.dirname(curr_path) # 上层目录file_path = os.path.join(parent_path, 'moment.json')font_path = os.path.join(parent_path, "simhei.ttf")if not os.path.isfile(file_path):returnwith open(file_path) as moment_file:data = json.load(moment_file) # 使用json加载文件moments = [item.get('moment', '') for item in data] # 获取朋友圈文字数组contents = ' '.join(moments) # 拼接为长文本cut_texts = ' '.join(jieba.cut(contents)) # 使用结巴分词进行中文分词
8. 生成关键词词云
词云需要基于上一步的分词结果生成词云。代码也很简单:
cloud = WordCloud(font_path=font_path)wordcloud = cloud.generate(cut_texts) #生成词云wordcloud.to_file('keys.png') #保存图片image = wordcloud.to_image() # 转化为图片image.show() # 展示图片
最后在文件末尾调用analyse_words()
,命令行执行python analyse.py
即可生成关键词!
你可能嫌弃以上生成的词云比较丑,没关系,你可以使用wordart做出各种酷炫的效果。
9. 最后
因为【出书啦】未完善反爬机制,所以爬虫写下来也没有什么难度,所以感兴趣的不妨赶紧动手试一试。本文出于学习分享,无恶意窃取数据之意,也请读者不要用于他途!
更多Python视频、源码、资料加群683380553免费获取
作者:『圣杰』
出处:http://www.cnblogs.com/sheng-jie/
如何利用Python网络爬虫抓取微信朋友圈的动态相关推荐
- python爬虫微信朋友圈怎么发文字_如何利用Python网络爬虫抓取微信朋友圈的动态(上)...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- python抓取微信朋友圈动态_2018最全如何利用Python网络爬虫抓取微信朋友圈的动态...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- 2018最全如何利用Python网络爬虫抓取微信朋友圈的动态
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- 如何利用Python网络爬虫抓取微信朋友圈的动态(上)
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...
- python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...
- 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
- python展示全部好友_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
- python爬虫好友聊天记录_利用Python网络爬虫抓取微信好友的签名及其可视化展示...
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
最新文章
- 了解机器学习的八大专业术语
- Markdown的一些常用的语法
- weblogic从入门到起飞(wlst)(四)
- speex 编译(转)
- ITK:创建一个后向差分运算符
- 学生党专用计算机,开学在即何必纠结?学生党专用显卡推荐
- php学习_数组 2013.01.04
- JavaScript面向对象——深入理解寄生组合继承
- php curl 采集文件,curl获取远程文件内容
- openGL与openGL ES 的区别
- UE4笔记-UStructToJsonObjectString首字母自动转换为小写的问题及解决方法
- 【Oracle】恢复重做日志组
- multiprocessing.manager管理的对象需要加锁吗_【极客思考】设计模式:你确定你真的理解了单例模式吗?...
- error: ‘_beginthreadex‘ undeclared (first use in this function); did you mean ‘SDL_beginthread‘?
- 11款免费而强大的PCB设计软件 还用什么AD PADS?
- SVN客户端——SmartSVN功能详解
- 阿里巴巴(容器镜像服务)docker+springboot实践
- 卢亮/明珠的博客吧开张了……
- editplus编辑器使用-快速开始(editplus通过sftp协议远程编辑文件)
- Linux单机到Windows的OGG安装部署步骤
热门文章
- ROS安装 melodic 和noetic版本(亲测)
- ZZULIOJ 1089:阶乘的最高位(C语言)
- 骑上犀牛 迎向建筑设计的新時代!!!
- Python新手入门之测试代码
- python打包成exe文件提示PermissionError: [Errno 13] Permission denied: ‘C:\\Users\\wj\\AppData\\Local\\Progr
- sublime text的snippet介绍,提高编程效率
- Swift学习_读取json文件重载
- python语言下如何通过yolov5调用gige相机
- ARM V8 base instruction -- WFE
- 2015年的计算机二级考试题,2015年计算机二级《MSOffice》试题及答案