很多网页使用了Ajax 技术,针对这种网页,我们需在八爪鱼中进行Ajax设置。

一、什么是Ajax?

Ajax (Asynchronous JavaScript and XML) :异步JavaScript 和XML。

Ajax是一种在无需重新加载整个网页的情况下,更新部分网页的技术。 通过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。传统的网页(不使用 Ajax)如果需要更新内容,必须重新加载整个网页页面。

二、如何判断网页是否使用了Ajax技术?

Ajax网页有2个明显特征:点击后【不重新加载整个网页】,且【网页局部出现新数据】。【不重新加载整个网页】是指:点击后观察网页的标签位置,不会转圈。

不是Ajax点击:点击后整个页面重新加载(网页的标签位置开始转圈),转圈停止后有新的数据出现。

八爪鱼是通过内置Chrome浏览器访问网页采集数据的。在八爪鱼中,判断网页是否使用了Ajax技术的方法,与普通浏览器一致。

是Ajax点击:点击后【不重新加载整个网页】(点击后浏览器网址栏无转圈状态,保持

 不变),且【网页局部出现新数据】。

不是Ajax点击:点击后整个页面重新加载(点击后浏览器网址栏开始转圈

,等待一段时间后转圈停止变成

),转圈停止后有新的数据出现。

练习:判断以下网页的点击,是否是Ajax点击?(先自行判断,第5个后有答案):

① 点击百度地图【搜索】按钮  https://map.baidu.com

② 点击京东【商品评论】按钮  https://item.jd.com/100004069493.html

③ 点击京东商品评论【下一页】按钮  https://item.jd.com/100004069493.html

④ 点击搜狗微信【文章链接】 https://weixin.sogou.com

⑤ 点击【百度一下】按钮  https://www.baidu.com

答案:1是;2是;3是;4不是;5是。

三、是Ajax点击,在八爪鱼中如何设置?

1、八爪鱼自行判断网页是Ajax

判断是Ajax点击后,会自动勾选【Ajax加载数据】,并设置一定的【Ajax超时】时间。

如下图,百度地图的搜索按钮,使用了Ajax技术,八爪鱼自动勾选【Ajax加载数据】,并设置【Ajax超时】为3秒。

什么是【Ajax超时】?在点击后等待的时间,超过这个时间即进行下一个步骤。

【Ajax超时】设置为几秒合适?大于【点击后新数据加载完成所需的时间】即可,请注意观察网页本身点击后新数据加载完成所需的时间。

如果八爪鱼自动设置的【Ajax超时】过短,导致采不到数据,可相应的将【Ajax超时】延长,推荐5-10秒,具体根据网页情况进行调整。

如果是Ajax点击,但是在八爪鱼中没有设置【Ajax加载数据】会怎样?

对于【点击】【翻页】等会造成页面变化的步骤,八爪鱼是通过网页是否加载完成,来决定是否进行下一个步骤的:加载完成,进行下一个步骤;没有完成,等待完成再进行下一个步骤。

非Ajax网页,点击后有网页重新加载过程过程。当加载结束后,八爪鱼知道网页加载完成了,可以进行下一个步骤了。

Ajax网页,点击后网页不重新加载,无变化,八爪鱼无法判断网页是否加载完成,就默认在点击后等待120秒。但实际上Ajax点击后,局部数据几秒内就会出现,默认等待120秒会极大的影响采集速度。

2、是Ajax网页网页,但八爪鱼没有自动判断出来

需要我们手动为相应步骤进行Ajax设置:勾选【Ajax加载数据】,并设置一定的【Ajax超时】时间。

目前自动判断的很精准,很少出现此种情况,暂无实例演示。

四、不是Ajax点击,可以设置【Ajax超时】吗?

有的网页不是Ajax点击,点击后重新加载,要采集的数据已经出现在页面上了,但网址栏还没有加载完成。八爪鱼会等待加载完成后才进行下一个步骤,就会拖慢采集速度。

针对这种情况,可以设置【Ajax超时】,强制停止网页加载。但需要注意,【Ajax超时】的时间,一定要略多于要采集的数据实际加载出来的时间。例如,要采集的数据实际5秒内加载出来,那将【Ajax超时】设为7秒,7秒后即使网址栏还在加载,八爪鱼也会强制停止其加载,进入下一个步骤,进而提高采集速度。

作者:西瓜

编辑:Aisling

ajax网页没有办法采集,Ajax网页采集方法(最新) - 八爪鱼采集器相关推荐

  1. 计算机读取数据的接囗教程,八爪鱼采集怎样获取数据API链接 八爪鱼采集获取数据API链接的方法...

    今天给大家带来八爪鱼采集怎样获取数据API链接,八爪鱼采集获取数据API链接的方法,让您轻松解决问题.八爪鱼采集如何获取数据API链接 具体方法如下:1 java.cs.php示例代码点击下载 这个教 ...

  2. 网页中播放wav的一种方法(flash播放器)

    需要wavpalyer.swf,是一个俄国人写的. git地址http://git.datacompboy.ru/?p=WavPlayer.git;a=summary 用法可参见http://www. ...

  3. php 采集ajax网页,Ajax网页采集方法(最新) - 八爪鱼采集器

    很多网页的点击使用了Ajax加载技术,针对这种网页,我们需在八爪鱼中进行相关设置. 一.什么是Ajax? Ajax是延时加载.异步更新的一种脚本技术,可以在不重新加载整个网页的情况下,对网页的某部分进 ...

  4. ajax文章采集6,网页采集AJAX滚动教程,以新浪微博评论采集为例

    网页采集AJAX滚动教程,以新浪微博评论采集为例 2019-03-17 八爪鱼7.0教程--AJAX滚动教程 标签: 新手入门,新手,v7.0 2017/6/23 18:20:20 AJAX滚动教程 ...

  5. [转]40种网页常用小技巧----Ajax中国

    1. οncοntextmenu="window.event.returnValue=false" 将彻底屏蔽鼠标右键 <table border οncοntextmenu ...

  6. 网页数据采集器-输入域名自动采集网站网页数据的软件免费

    网页数据采集器,什么是网页数据采集器.网页数据采集器有什么用?网页数据采集器批量采集网站数据资源,省去所有的复制粘贴,提高工作效率,提高工作产出,加快数据分析.今天给大家分享一款免费的网页数据采集器, ...

  7. 使用ASP.NET AJAX 1.0框架PreviewGlitz进行网页动画编程

    一.引言 微软最新推出的AJAX框架为ASP.NET AJAX 1.0(下载地址为[url]http://ajax.asp.net/downloads/default.aspx[/url]),此框架由 ...

  8. ajax长轮询 java web_网页实时聊天之js和jQuery实现ajax长轮询

    众所周知,HTTP协议是无状态的,所以一次的请求都是一个单独的事件,和前后都没有联系.所以我们在解决网页实时聊天时就遇到一个问题,如何保证与服务器的长时间联系,从而源源不段地获取信息. 一直以来的方式 ...

  9. html 抓取移动,网页采集提取数据教程,以自定义抓取方式为例 - 八爪鱼采集器...

    网页上的数据类型十分丰富:文本.图片.链接.源码等.在数据采集过程中,不同类型的数据类型,对应的抓取方式是不同的.本文将讲解常见的数据类型与其抓取方式. 示例网址:https://movie.doub ...

  10. 前嗅教你大数据:批量采集/下载网页中的图片数据

    l 采集网站 [场景描述]采集revisionvillage网页中所有真题图片的数据. [源网站介绍]revisionvillage,国外知名IB真题网站,每道题都有视频讲解的IB数学刷题网站. [使 ...

最新文章

  1. FlashDevelop+aswing开发AS2程序
  2. logback:用slf4j+logback实现多功能日志解决方案
  3. linux切换到顶层命令,一些在Linux下提高工作效率的常用命令
  4. 2016rMBP登录后自动关机、帐户数据丢失
  5. c++ primer 5th 练习11.9自己编写的答案
  6. 验证视图状态 MAC 失败 的解决办法
  7. 新买的锅要怎么处理?-新锅开锅处理
  8. 玻璃质感_photoshop绘制玻璃质感创意图标
  9. 【感悟】本书书名无法描述本书内容(二)
  10. 计算机二级java难不_计算机二级java含金量如何 对就业有帮助吗
  11. 三十二个vbs整蛊代码,好玩到没朋友
  12. 中文圣经 for Android
  13. 数值分析与算法——读书笔记(一)
  14. HTML5 Notification实现浏览器通知
  15. 知道如何防止域名被封,干货!赶紧收藏
  16. 一枚namecheap续费可用的优惠码
  17. python小游戏_课程设计_期末大作业——小游戏合集(含源代码)
  18. windows cmd 添加路由命令
  19. runC 严重漏洞,使用容器的快打补丁;辩论界人机大战,人类获胜
  20. python:分隔符

热门文章

  1. Glide刷新图片闪啊闪
  2. org.springframework.data.redis.RedisSystemException: Error in execution; nested exception is io.lett
  3. 基于zynq的千兆网udp项目_米联客 ZYNQ/SOC 精品教程 S05-CH03-UDP千兆光通信
  4. 通过css实现按钮高亮
  5. 关于六度分割理论的一点认识
  6. IIS 部署.NetCore
  7. 词霸天下---192 词根【-oxy- = -oxia- = -oxic- 尖锐,敏锐,氧 】
  8. dbever数据库如何导入excel数据
  9. Excel数据透视表数据源自动更新方法
  10. Linux系统安装使用glassfish3.1.2.2