一个简单的app爬虫：对近期热播剧《三十而已》进行知乎app关键词搜索

2024-06-13 14:27:35

一、前言

近期，《三十而已》这部电视剧走进人们的视野之中，并且多次上微博等平台的热搜，于是决定在知乎上看看大家对这部剧的看法，进行关键词的爬虫。

二、爬取过程遇到的问题

本来以为，知乎的抓包会很容易，于是直接打开浏览器，通过关键词的搜索，直接进入我们需要爬取的页面（下图），但抓包之后发现，抓到的网址，直接请求并不能得到我们需要的数据。
这时候，我想到了神器：selenium，但是这样子的话一点挑战难度都没有，实在没意思，所以决定对知乎app进行爬取。

三、准备工具

要想对手机app进行抓取，这时候无非就要用到charles、fiddler、wireshark等中间人抓包工具，这些抓包工具的用法无非是大同小异，非常容易上手，就不做赘述了。

四、进行知乎app的抓包

不难发现，知乎的页面是通过瀑布流的方式给我们发送数据的，因此我们只要对页面进行下拉，很容易抓到我们需要的数据。
一边下拉，一边看着抓包工具，随意点进去几个网址。哎？这不就是我们需要的数据吗，比《甄嬛传》还精彩可还行。

五、结果展示

六、总结

本文是想展示对手机app进行抓包的一个具体过程，因为关键字较多，因此没有设立特定字段，从上图可以看出，具体的数据我们已经获取了，感兴趣的小伙伴们，可以自行写一下代码，爬取自己想看的内容。
对app爬虫的方式有好几种，我这个较为简单，如果有大神对app逆向有深入研究的，可以在评论区下方进行讨论，感谢！

一个简单的app爬虫：对近期热播剧《三十而已》进行知乎app关键词搜索相关推荐

一个简单的百度爬虫实例
一个简单的百度爬虫实例最近在百度aistdio自学课程,看到一个基础课程的作业是爬取百度上<青春有你>选手信息,索性就跟着爬了一下,复习一下自己去年自学的已经忘得差不多的爬虫. 直接上代 ...
一个简单的python爬虫程序
#简介在每次论文被拒再投的过程中,都需要查询最近的与自己论文相关的会议列表.每到这种情况,我一遍采用的是遍历会伴www.myhuiban.com的网站,然后逐个查看会议,关注的有三点,投稿日期,cc ...
利用python爬取知乎评论_一个简单的python爬虫,爬取知乎
一个简单的python爬虫,爬取知乎主要实现爬取一个收藏夹里所有问题答案下的图片文字信息暂未收录,可自行实现,比图片更简单具体代码里有详细注释,请自行阅读项目源码: 1 # -*- c ...
自己编写一个简单的微博爬虫
自己编写一个简单的微博爬虫很多做社交媒体数据分析的同学需要采集一些新浪微博上的数据,新浪微博虽然有提供api,但免费的api对获取的数据项和获取的频率都有很大的限制,商业版api据说限制较少,但是作 ...
通过Dapr实现一个简单的基于.net的微服务电商系统(十九)——分布式事务之Saga模式...
目录: 一.通过Dapr实现一个简单的基于.net的微服务电商系统二.通过Dapr实现一个简单的基于.net的微服务电商系统(二)--通讯框架讲解三.通过Dapr实现一个简单的基于.net的微服务 ...
通过Dapr实现一个简单的基于.net的微服务电商系统(十八)——服务保护之多级缓存...
很久没有更新dapr系列了.今天带来的是一个小的组件集成,通过多级缓存框架来实现对服务的缓存保护,依旧是一个简易的演示以及对其设计原理思路的讲解,欢迎大家转发留言和star 目录: 一.通过Dapr实 ...
通过Dapr实现一个简单的基于.net的微服务电商系统(十六)——dapr+sentinel中间件实现服务保护...
dapr目前更新到了1.2版本,在之前4月份的时候来自阿里的开发工程师发起了一个dapr集成Alibaba Sentinel的提案,很快被社区加入到了1.2的里程碑中并且在1.2 release 相关 ...
通过Dapr实现一个简单的基于.net的微服务电商系统(十二)——istio+dapr构建多运行时服务网格...
多运行时是一个非常新的概念.在 2020 年,Bilgin Ibryam 提出了 Multi-Runtime(多运行时)的理念,对基于 Sidecar 模式的各种产品形态进行了实践总结和理论升华.那到 ...
为什么一个简单腹泻，服用了附子理中丸后，会绵延十年不愈？(转)
为什么一个简单腹泻,服用了附子理中丸后,会绵延十年不愈? 这个患者腹泻已经十多年了,最开始腹泻一天3次左右,大便呈泡沫状,于是就用附子理中丸控制,服用后上症稍缓解,停药后又复发,患者遂间断用附子理中丸 ...

最新文章

热门文章