利用八爪鱼爬取关键词搜索的微博数据
写在开头
今天是我在CSDN上的两周年创作纪念日,两年里我写了不少有意思的文章,虽然没收获什么粉丝,但看到自己的博客阅读量越来越大,能帮助到更多人解决实际问题还是很开心的。今天就分享一下我最近做的一个项目。
一般来说,爬虫可能用的更多的是python,但是chatgpt给出的代码需要申请微博开放平台api,还得审核好久。我在GitHub上搜索了很多代码,大多数也都不能用或者有缺陷。用八爪鱼可能更加方便,而且通过模拟点击的方式更容易爬取。
用微信登陆
注意不要用官方给的微博模板。 那个模板完全不值得用。
进入微博官网,登陆账号
建议用https://weibo.com/
别用移动版,因为官网版搜索到的微博数据更全。
点击搜索栏,输入关键词,并搜索
按照给的提示,点击相应的元素就行,这里很简单,和正常的模拟点击类似,搜索的时候可以选择点击“xx”相关微博,就能实现。点击查看全部搜索结果
微博默认按综合评分来排序,可能数量比较少,需要展开搜索所有的微博(按时间排序)。我们需要找到网页最下面的按钮来点击元素。自动展开全文
微博有些内容比较长会被折叠,爬取的时候需要点击展开这一元素,但是展开元素所对应的位置是不一样的,有的一个div组件里有一个链接,有的有0,2,3个话题或超话会干扰,所以我们需要用到xpath来正则匹配。
首先随机点击一个展开链接→选择全部→循环点击每个链接。这时有些展开是没有被匹配到的,然后需要修改循环列表中的循环方式为下图
其中xpath路径设置如下(核心步骤):
//div[@id="pl_feedlist_index"]/div[1]/div[*]/div[1]/div[1]/div[2]/p[1]/a[contains(text(),'展开')]
这里*表示匹配任意一个微博,contains(text(),‘展开’)表示文本中包含展开字符串的链接。点击应用,通过观察下面的循环列表,看是否匹配正确。
发现6个展开全部匹配到了,也没有匹配到其他的超话或者链接。这个循环列表的点击元素设置不需要修改。点击自动识别网页
展开所有数据之后,点击自动识别网页,然后确定就自动完成了提取列表数据和翻页的设置。拖动修改嵌套顺序
需要先展开再提取数据,并且是在循环翻页里面的,整体流程图如下:点击本地采集,导出数据
采集的时候可能会出错(采集0条),建议开始采集之后就点击查看网页来监督爬取过程,确保能得到想要的数据。注意,如果微博页面有50页,那么在第50页点击下一页会回到第一页,这就陷入了死循环,也会采集到很多重复数据,可以设置循环翻页的次数上限来控制。
最后得到的数据如下:
表中txt是展开后的微博正文,txt5是展开前的微博正文。
这样我们就完成了对关键词搜索的微博数据的爬取,如果还想爬取更多的数据,可以在高级搜索中按照时间搜索。
利用八爪鱼爬取关键词搜索的微博数据相关推荐
- python爬取股票信息_利用Python爬取网易上证所有股票数据(代码
利用Python爬取网易上证所有股票数据(代码 发布时间:2018-04-14 17:30, 浏览次数:1261 , 标签: Python import urllib.request import r ...
- 利用xpath爬取链家租房房源数据并利用pandas保存到Excel文件中
我们的需求是利用xpath爬取链家租房房源数据,并将数据通过pandas保存到Excel文件当中 下面我们看一下链家官网的房源信息(以北京为例) 如图所示,我们通过筛选得到北京租房信息 那么我们需要将 ...
- 利用Java爬取基金网站的基金数据,快速筛选优质热门基金
爬取数据源为天天基金网的页面基金数据 利用java爬取基金数据并简单筛选后的效果图 创建java maven项目,推荐用spring boot maven需要引入的jar包依赖 <!--lomb ...
- 利用paddlepaddle爬取丁香园实时统计数据,并生成疫情地图!!
当下,新型冠状病毒感染的肺炎疫情无时无刻不牵动着人们的心.面对来势汹汹的疫情,除了奋战在前线的医护人员以及防疫建设工作者们,小媛们也想尽一份绵薄之力. 这不,今天为大家带来了一份超超超简单的!生成自己 ...
- Python+Selenium — 爬取京东搜索商品页数据
用 request 下载京东搜索商品页面源码后,发现得到的数据只有30条,怀疑京东搜索页面加载方式应该是动态渲染的,所以打算采用 Selenium 驱动谷歌浏览器来爬取搜索页面. 代码如下: from ...
- python爬取股票大单历史记录_利用bs4爬取股票的历史交易数据
听起来,爬取股票的所有历史交易数据跟高大上,有木有? 不过写这个爬虫的时候,发现基于网易财经的股票历史数据的爬取其实挺简单,最后再写到txt文档里(暂时写txt,以后会写csv的.可以在用机器学习干一 ...
- 利用python爬取网页选考要求数据
爬取背景:福建省发布了选考要求数据,想要获取数据进行分析,无奈数据量太大 需求分析:要爬取数据的网站为 http://fj.101.com/gaokao/#/,需要将数据存储为csv格式. 爬取代码如 ...
- 利用Python爬取网易上证所有股票数据(代码
import urllib.request import re##def downback(a,b,c): ## '''' ## a:已经下载的数据块 ## b:数据块的大小 ## c:远程文件的大小 ...
- Python爬虫【二】爬取PC网页版“微博辟谣”账号内容(selenium同步单线程)
专题系列导引 爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集 课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...
最新文章
- 如何做一个听话的 “输入框”
- ProgressDialog用法详解
- 什么是AI“智慧芯片”?清华魏少军提出11点基本要素
- c# winform实现2048游戏
- UVA - 11491 Erasing and Winning(奖品的价值)(贪心)
- 冒死揭秘安利_赵丽颖新剧开播备受争议?冒死安利
- 深入解读Flink资源管理机制
- 如何让nginx执行python代码_生产环境部署Python语言代码(django+uwsgi+nginx)
- 一只老猴子说的话,太经典了!
- 黄聪:解决wordpress定时发布文章失败”丢失计划任务”的插件
- servlet+jsp面试题
- 微信公众号文章采集浅谈--搜狗APP近一天文章
- java基础之多线程与Lambda表达式
- Power BI集成Power Apps,轻松实现用户在报告中任意输入信息
- 总有云开日出时候, 万丈阳光照耀你我
- 平面设计教程:PS新手如何制作好透视立体字海报
- PCB的埋孔、盲孔、通孔
- android 触摸屏干扰,如何解决电容触摸屏的抗干扰问题?
- 简述async和await写法
- 用计算机弹生僻字乐谱,抖音生僻字计算器乐谱 抖音生僻字计算器数字简谱