大数据挖掘与分析——用八爪鱼爬虫采集百度搜索内容

2024-06-01 08:15:09

大数据挖掘与分析

文章目录

前言
一、八爪鱼是什么？
二、数据采集步骤
- 1.确定爬取网站内容范围
- 2.制作采集数据流程
- 3.调优
总结

前言

为了制作好看的词云，我们要准备分词和词频的素材。本文的目的是使用八爪鱼从百度搜索上爬取关键词为‘苏东坡’的相关内容，并在接下来制作对苏东坡评价的词云。

一、八爪鱼是什么？

八爪鱼是一款使用简单、功能强大的网络爬虫工具,完全可视化操作,无需编写代码,内置海量模板,支持任意网络数据抓取。免费版支持本地采集、有限数量的数据导出（基本上还算够用）；专业版支持云采集、24*7采集，大数据量导出，验证码识别等功能。本次采集我用的是免费版功能。

二、数据采集步骤

1.确定爬取网站内容范围

我准备采集的是百度新闻，输入关键词‘苏东坡’后搜索出的内容。计划采集数量为几百条新闻内容。

网址：http://news.baidu.com/

先来观察一下网页情况。

（1）注意百度新闻搜索出来的内容，点击单个链接后的网页，存在各个元素框架不同的问题。我的方案是提取网页的标题和全部文字内容。

（2）注意翻页，百度新闻翻页的特点是点击“下一页”。

2.制作采集数据流程

设计八爪鱼自定义采集流程，有两个关键点。一是循环点击下一页，设定多少次循环后停止；二是在每一页循环点击列表中10个网页的网址，进入每个网址后提取标题和文字内容。流程图中主要包括循环翻页和循环列表，描述如下：

提取详情页数据自动提取标题、正文等文章相关内容。

3.调优

实际运行时，发现虽然逻辑正确，却怎么也进入不了下一页，只能采集10条数据，经检查，八爪鱼软件自动给“下一页”的链接设置的Xpath地址和百度搜索中真实的下一页对应Xpath地址不一样。通过google浏览器开发者工具进入小指针，当页面处于第一页时，鼠标左键点击“下一页”按钮，右边对应部分高亮，出现：

右键点击高亮部分，复制Xpath，

得到“下一页”对应的Xpath地址是：//*[@id="page"]/div/a[10]。而当页面在第2页时，下一页的Xpath是//*[@id="page"]/div/a[11]，如果不注意这个问题，就会发生八爪鱼只能采集第一页数据。修改后，就可以自动采集数据了。

总结

八爪鱼的采集功能十分强大和完善，需要注意的是，要简单理解一下Xpath的意义，才能从网页页面上正确提取到相关的内容。

大数据挖掘与分析——用八爪鱼爬虫采集百度搜索内容相关推荐

微课--Python网络爬虫采集百度搜索结果（例4-5）
推荐教材: <Python网络程序设计(微课版)>,ISBN:978-7-3025-8312-7,董付国,清华大学出版社,2021年8月出版配套资源: 教学大纲.445页PPT.91个例 ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
【Python】大数据挖掘课程作业1——使用爬虫爬取B站评论、弹幕与UP主的投稿视频列表
[Python]大数据挖掘课程作业1--使用爬虫爬取B站评论.弹幕与UP主的投稿视频列表数据挖掘部分的基本目标是:对于指定的UP主,能够获取其投稿视频列表:对于指定的视频,能够获取其视频标签.评论( ...
python进行大数据分析_Python进行大数据挖掘和分析
大数据无处不在.在时下这个年代,不管你喜欢与否,在运营一个成功的商业的过程中都有可能会遇到它. 什么是大数据? 大数据就像它看起来那样--有大量的数据.单独而言,你能从单一的数据获取的洞见穷其有限.但 ...
【数据挖掘】顺丰科技2022年秋招大数据挖掘与分析工程师笔试题
顺丰科技2022年秋招大数据挖掘与分析工程师笔试题笔试时间:2022-9-7 1 不定项选择题 1.python中_thread 和threading的区别解析: _thread模块提供了基本的线 ...
大数据挖掘与分析平台整体解决方案
大数据挖掘与分析平台 ...
详解用python批量采集百度搜索多个关键字数据
本文介绍如何使用后羿采集器的流程图模式 ,免费采集百度搜索多个关键字的信息数据. 采集字段: 标题.标题链接.摘要.时间功能点目录: 什么是行为组件循环组件的功能点介绍如何使用提取数据组件如 ...
python模拟百度搜索点击链接_python采集百度搜索结果带有特定URL的链接代码实例...
这篇文章主要介绍了python采集百度搜索结果带有特定URL的链接代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 #coding utf-8 ...
python爬去百度搜索结果_python爬虫获取百度搜索结果的简单示例
编程之家收集整理的这篇文章主要介绍了python爬虫获取百度搜索结果的简单示例,编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考. 感兴趣python爬虫获取百度搜索结果的简单示例的小伙伴, ...
全百科搜索采集器可采集百度搜索网址/贴吧/哔哩哔哩/微博信息
软件介绍全百科搜索采集器是由全百科网开发,是一款方便易用的百度搜索网址(seo检测.舆情检测)/贴吧/哔哩哔哩/微博信息采集器,可以帮助用户节省操作时间,让你轻松获取需要的内容. 软件演示软件说明 ...

最新文章

热门文章