知乎爬虫-以天津大学热搜为例爬取恶评信息

一觉醒来，我天上了热搜，天津大学咋说都是我的母校，咋能让人这么诋毁，不说了，一早上撸起袖子就是干！

一开始想遍历Page，试着拉了一下，是Ajax异步（PS:异步渲染，不是翻页的那种），好吧！

直接抓包，如下的API映入了我的眼帘。

打开一看，妥妥的json数据（匿名用户没啥用，id号是唯一的，只要想查，对照知乎数据库就能查到）

根据上图框出的offset可以直接构造遍历进行爬取

当然了，可爱的知乎虽然采用异步Ajax，但是最后偏偏留了一个page，还贴心的把total数量告诉我了，无需自己构造。

话不多说，直接遍历就可以抓取所有答主的信息，发帖时间，发帖内容，有条件的再搞一个情感分析啥的，可以详见我上一条博客，中文情感分析这里我就不放源码了，会的人到这一步啥都明白了。

所有人都要为自己的言行承担责任，互联网并非法外之地。

知乎爬虫-以天津大学热搜为例爬取恶评信息相关推荐

smtp在线发送邮件_基于树莓派3B，利用爬虫、SMTP和发送邮件amp;amp;(爬取墨迹天气预报信息)...
转载请注明: 利用爬虫.SMTP和树莓派3B发送邮件&续集&(爬取墨迹天气预报信息) - 永怀一颗学徒的心 - 博客园www.cnblogs.com ZXPXBB:基于树莓派3B,利 ...
Python爬虫实战，requests+openpyxl模块，爬取手机商品信息数据（附源码）
前言今天给大家介绍的是Python爬取手机商品信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
Python爬虫实战，requests+parsel模块，爬取二手房房源信息数据
前言最近在尝试用Python爬虫二手房房源信息数据,在这里给需要的小伙伴们提供代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
利用爬虫、SMTP和树莓派3B发送邮件(爬取墨迹天气预报信息)
-----------------------------------------学无止境----------------------------------------- 前言:大家好,欢迎来到誉雪 ...
基于PHP爬虫的微博热搜实时监控平台
基于PHP爬虫的微博热搜实时监控平台背景一.整体思路二.数据爬取 1.获取HTML 2.提取数据 3.返回数据三.数据可视化 1.画柱状图 2.ajax请求数据四.效果展示写在最后背景 ...
【Python】爬虫获取微博热搜数据，response中文显示“\u7814\u7a76\u8bc1\u5b9e\u”
问题描述在爬虫获取微博热搜数据的时候,response中文出现了不便于理解的字段,截取如下: ......[{"title_sub":"\u7814\u7a76\u8b ...
爬虫概念与编程学习之如何爬取视频网站页面（三）
先看,前一期博客,理清好思路. 爬虫概念与编程学习之如何爬取网页源代码(一) 爬虫概念与编程学习之如何爬取视频网站页面(用HttpClient)(二) 不多说,直接上代码. 编写代码运行 <! ...
高温来袭？通过python爬虫爬取天气预警信息
需求分析最近一段时间,天气也是越来越热了,真正的进入了夏天了.可怕的故事是,现在才只有6月份呢,要是等到了7,8月份,不会是要更热吧? 一个小伙伴对此也深表赞同,"仙草哥哥,现在天气的温度 ...
踩坑的Python爬虫：新手如何在一个月内学会爬取大规模数据？
Python爬虫为什么受欢迎如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样的编程语言提供越来越多的优秀工具,让爬虫变得 ...

知乎爬虫-以天津大学热搜为例爬取恶评信息

知乎爬虫-以天津大学热搜为例爬取恶评信息相关推荐

最新文章

热门文章