python 抓取微博评论破亿_Python爬虫实战演练:爬取微博大V的评论数据
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章来源于IT共享之家 ,作者: IT共享者
理论篇
试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。
但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。
接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓取评论的微博,打开浏览器自带流量分析工具,一直下拉评论,找到评论数据接口,如下图所示。
之后点击“参数”选项卡,可以看到参数为下图所示的内容:
可以看到总共有4个参数,其中第1、2个参数为该条微博的id,就像人的身份证号一样,这个相当于该条微博的“身份证号”,max_id是变换页码的参数,每次都要变化,下次的max_id参数值在本次请求的返回数据中。
实战篇
有了上文的基础之后,下面我们开始撸代码,使用Python进行实现。
1、首先区分url,第一次不需要max_id,第二次需要用第一次返回的max_id。
2、请求的时候需要带上cookie数据,微博cookie的有效期比较长,足够抓一条微博的评论数据了,cookie数据可以从浏览器分析工具中找到。
3、然后将返回数据转换成json格式,取出评论内容、评论者昵称和评论时间等数据,输出结果如下图所示。
4、为了保存评论内容,我们要将评论中的表情去掉,使用正则表达式进行处理,如下图所示。
5、之后接着把内容保存到txt文件中,使用简单的open函数进行实现,如下图所示。
6、重点来了,通过此接口最多只能返回16页的数据(每页20条),网上也有说返回50页的,但是接口不同、返回的数据条数也不同,所以我加了个for循环,一步到位,遍历还是很给力的,如下图所示。
7、这里把函数命名为job。为了能够一直取出最新的数据,我们可以用schedule给程序加个定时功能,每隔10分钟或者半个小时抓1次,如下图所示。
8、对获取到的数据,做去重处理,如下图所示。如果评论已经在里边的话,就直接pass掉,如果没有的话,继续追加即可。
这项工作到此就基本完成了。
python 抓取微博评论破亿_Python爬虫实战演练:爬取微博大V的评论数据相关推荐
- python爬取微博评论破亿_Python爬虫实战演练:爬取微博大V的评论数据
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于IT共享之家 ,作者: IT共享者 理论篇 试想一个问题,如果我们要抓取某个微博大V ...
- python 抓取微博评论破亿_一篇文章教会你使用Python定时抓取微博评论
[Part1--理论篇] 试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存.首先从微博api寻找 抓取 ...
- python微博爬虫实战_Python爬虫实战演练:爬取微博大V的评论数据
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于IT共享之家 ,作者: IT共享者 理论篇 试想一个问题,如果我们要抓取某个微博大V ...
- python爬虫爬取豆瓣电影信息城市_python爬虫,爬取豆瓣电影信息
hhhhh开心,搞了一整天,查了不少python基础资料,终于完成了第一个最简单的爬虫:爬取了豆瓣top250电影的名字.评分.评分人数以及短评. 代码实现如下:#第一个最简单的爬虫 #爬取了豆瓣to ...
- Python爬虫实战演练:爬取微博大V的评论数据
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于IT共享之家 ,作者: IT共享者 理论篇 试想一个问题,如果我们要抓取某个微博大V ...
- python爬取饿了么订单_python爬虫:爬取某图外卖数据有这篇文章就够了
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云 作者:Python进阶者 ( 想要学习Python?Pyth ...
- python 抓取微博评论破亿_如果利用Python分析14亿条数据!资深程序员手把手教你!过亿级!...
挑战 1-gram 的数据集在硬盘上可以展开成为 27 Gb 的数据,这在读入 python 时是一个很大的数据量级.Python可以轻易地一次性地处理千兆的数据,但是当数据是损坏的和已加工的,速度就 ...
- python抓取微博评论破亿_【python】爬虫-微博评论-武大樱花雨为例 笔记
〇.前情提要 b站跟着up主 龙王山小青椒 学习爬虫. 参考: python爬虫-微博评论-武大樱花雨为例 https://www.bilibili.com/video/BV1s7411U7AS 人民 ...
- python爬虫金融数据_python爬虫项目-爬取雪球网金融数据(关注、持续更新)
(一)python金融数据爬虫项目 爬取目标:雪球网(起始url:https://xueqiu.com/hq#exchange=cn&firstname=1&secondname=1_ ...
最新文章
- 5.html基础标签:块级+行级元素+特殊字符+嵌套规则
- C++程序安装卸载WDM驱动
- 【NLP】用code2vec、glow和spaCy进行词嵌入
- 数据分析---ipython使用
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构区别...
- html htc控件详解,*.HTC 文件的简单介绍-网页设计,HTML/CSS
- STM32的学习记录--1.准备工作
- c++中的fork函数_linux c语言 fork() 和 exec 函数的简介和用法
- 遇到一个在linux下无法跨网段发送接收广播包的问题
- windows控制台中文乱码解决方法
- VC++6.0安装番茄助手Visual Assist X和VC6LineNumberAddin的方法
- easy2game使用教程_Easy2d教程——Game类的使用
- win7 用 Activation激活 重启 进入 Acer eRecovery Management 解决办法
- Ubuntu搭建透明网桥
- oracle用户互信失效,LINUX SSH互信与用户家目录权限
- 笔迹心理学(2): 功能设计
- git 一个分支完全覆盖另一个分支
- html画布动画,画布动画(Canvas Animation)
- 自供电面包板----面包板伴侣项目介绍
- 华胜天成旗下成员企业沃趣科技为华泰证券IT系统保驾护航