八爪鱼采集ajax表格,设置八爪鱼采集器ajax延时采集分页列表的方法

大小：55.24MB

语言：简体

分类：网页辅助

版本：电脑版

立即下载查看详情

本文将给大家介绍如何使用八爪鱼采集器采集分页列表页面上的信息，并附带给大家讲一下ajax延时设置。目的是让大家了解怎么创建循环翻页并能正常采集网页数据信息。

首先打开八爪鱼采集器→点击快速开始→新建任务，进入到任务配置页面：

选择任务组,自定义任务名称和备注;

上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

下面创建循环翻页。点击上图浏览器页面中的Next按钮，在弹出的对话框中选择循环点击下一页;

翻页循环创建完毕之后，点击下图中的保存;

这里的翻页其实涉及到了ajax延时加载，ajax异步更新其实就是一种脚本技术，通过在后台与服务器进行少量数据交换，意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。

Ajax延时加载最明显的两个特征就是点击网页中某个选项的时候网址是不会有任何变化的，然后网页不是完全加载，只是局部有变化。如果符合这两个特征就是一个ajax网页。或者后面进行采集测试的时候，流程直接停止或者没跑完就提示采集已成功完成，基本都是这个问题导致的。原因就是八爪鱼的内置浏览器打开这个网页进行翻页的时候，由于网址没有变化只是局部内容有更新，所以收不到网页变化的信号，导致采集停止或者采集不到数据。

所以按照下图所示，需要在点击翻页的高级设置里面设置ajax加载，这个点击翻页的时间自己估算一下，大概是两秒完成点击步骤。

上图的浏览器中大家可以看到网页都是由同样的区域行组成的，我们需要抓取每一个区域行中的数据信息，而且每个区域块中的格式都是一样的。这时候我们需要创建一个循环列表，循环抓取每一个区域行中的元素。

点击上图中第一个区域行，在弹出的对话框中选择创建一个元素列表以处理一组元素;

接下来在弹出的对话框中选择添加到列表

第一个区域行添加好之后选择继续编辑列表。

接下来以同样的方式添加第二个区域行。

我们添加第二个区域行的时候可以看上图，这时候页面中其他元素都被添加进来了。这是因为我们添加的是具有两个相似特征的元素，系统会智能的将页面中其他具有相似特征的元素都添加进来。然后选择创建列表完成→点击下图中的循环

如上操作之后，循环采集列表就完成了。系统会在页面右上方显示本页面添加进来的所有循环项。

由于每一页都需要循环采集数据，所以我们需要将这个循环列表拖入到翻页循环里。

注意流程是从上网页执行的，所以这个循环列表需要放到点击翻页的前面，否则会漏掉第一页的数据。最终流程图如下图所示：

下面进行数据字段的提取,点击上图流程设计器中的提取数据，再选择浏览器中需要提取的字段,然后在弹出的选择对话框中选择抓取这个元素的文本;

上述操作之后,系统会在页面的右上方显示我们将要抓取的字段;

接下来配置页面中其他需要抓取的字段,配置完成之后修改字段名称;

修改完成之后点击上图中的保存按钮,再点开图中的数据字段可以看到,系统将会显示最终的采集列表;

点击上图中的下一步→下一步→启动单机采集(调试模式),进入到任务检查页面,以确保任务的正确性;

点击开始单机采集,系统将会在本地执行采集流程并显示最终采集的结果;

八爪鱼采集ajax表格,设置八爪鱼采集器ajax延时采集分页列表的方法相关推荐

ajax怎么设置好友,好友按ajax新消息通知
您的问题在于内: jQuery('#user-messages span').text("Unread Messages: (<?php echo messages_get_unrea ...
webform ajax 表格,在webform中使用ajax
如果你用过Asp.net webform, 说明你也算是.NET 开发的老兵了.WEBform应该是2011-2013左右,当时还用visual studio 2005. visual studio ...
django+ajax+表格加载,如何使用ajax在Django-admin表格内联中读取/写入输入字段？
小编典典 urls.py `` from django.conf import settings urlpatterns = patterns('', (r'^json/tshirt/$', json ...
Ajax设置超时时长,jquery ajax超时设置
var ajaxTimeoutTest = $.ajax({ url:'', //请求的URL timeout : 1000, //超时时间设置,单位毫秒 type : 'get', //请求方式 ...
Ajax如何设置contenttype,jquery ajax contentType设置
默认get方法没有contentType,post方法的contentType为:application/x-www-form-urlencoded; charset=UTF-8 (1) 设置成app ...
火车头采集 java 生成正文_火车头采集器使用教程–采集内容发布规则设置
火车头采集器使用教程–采集内容发布规则设置前面我们讲了怎么寻找网站,以及采集文章链接和内容,下面我们就说一下内容发布相关的设置. 因为我教程里都是设置好的发布规则,所以这里我就简单介绍下各个项目. ...
使用kettle采集excel表格中的数据
使用kettle采集excel表格中的数据一.任务描述二.任务目标三.任务环境四.任务分析五. 任务实施步骤1.环境准备步骤2.创建Transformmations 申明: 未经许可,禁 ...
苹果cms采集教程，设置定时采集方法
第一次使用苹果cms不知道怎么采集,去哪里采集,如何设置定时采集,其实很简单,你只要安装一个苹果cms资源中心插件就可以安装苹果cms资源中心方法 1.安装苹果cms盒子,简称盒子,盒子是一个免费的 ...
关键词采集器-关键词自动采集发布
关键词采集器是我们在网站数据采集和内容采集时经常会用到的工具.关键词采集器对新入坑的站长十分友好,不需要我们填写复杂的采集规则就可以使用.并且具有采集.翻译.伪原创.发布.推送功能,可以实现网站内容的 ...
ios中的视频采集及参数设置和相机操作
概述在直播应用中,视频的采集一般都是用AVFoundation框架,因为利用它我们能定制采集视频的参数:也能做切换手机摄像头.拍照.打开手电筒等一些列相机的操作:当然,更重要的一点是我们能获取到原始 ...

八爪鱼采集ajax表格,设置八爪鱼采集器ajax延时采集分页列表的方法

八爪鱼采集ajax表格,设置八爪鱼采集器ajax延时采集分页列表的方法相关推荐

最新文章

热门文章