用Javascript滚动到页面底部,并能正确判断出页面已到底部的方法
现在的页面大部分都是通过Js渲染来显示页面的,也就是如果不滚动到页面底部就无法获取整个页面的HTML源码,如果通过CURL等抓取网页那么基本上抓取到都是一堆javascript代码。
所以就有了webkit爬虫,把整个页面渲染完了再抓取。这个到达页面底部的操作通常是在webkit中执行Js来完成的,注意如果通过js直接跳到底部页面只会渲染底部的HTML,中间的部分是不会渲染的。 所以下面这段代码就是通过js逐步滚动到页面底端,并且能判断出页面已达到底端来把setIntervel绑定的定时器清掉,以免造成死循环。
var delay = 10;//in milliseconds
var scroll_amount = 10;// in pixels
var interval;
function scroller() {var old = document.body.scrollTop;//保存当前滚动条到顶端的距离document.body.scrollTop += scroll_amount;//让滚动条继续往下滚动if (document.body.scrollTop == old) {//到底部后就无法再增加scrollTop的值clearInterval(interval);}
}
function scrollToBottom()
{interval = setInterval("scroller()",delay);
}scrollToBottom()
用Python
的ghost.py
库来做webkit爬虫时就可以用它的evaluate
方法执行这段代码来渲染出整个页面。
用Javascript滚动到页面底部,并能正确判断出页面已到底部的方法相关推荐
- html首页问候语,HTML5通过Javascript网页调用日期显示、根据时间判断问候语显示...
HTML5通过Javascript网页调用日期显示.根据时间判断出不同时间段的问候语并显示 增加一段小小的问候语,就可以增加访客们对你网站的关照. 效果展示: 代码: 今天是: var day=&qu ...
- 如何使用JavaScript滚动到页面顶部?
在滚动页面中如何使用JavaScript滚动到页面顶部?下面本篇文章就来给大家介绍一下使用JavaScript滚动到页面顶部的方法,希望对大家有所帮助. 在JavaScript中可以使用window. ...
- JavaScript中的scrollTop(js中的scrollTop,滚动到顶部,javascript滚动到顶部)
简述:scrollTop是JavaScript中一个非常有用且重要的方法,它用于获取或设置元素的垂直滚动条位置,实现各种滚动相关的功能,无论是回到顶部.滚动到指定位置还是监听滚动事件,都需要用到scr ...
- CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面)
CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面) 一款使用Bootstrap构建,多个主页版本的企业网站后台管理系统,咨询管理,数据统计后台管理 ...
- CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面)...
CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面) 一款使用Bootstrap构建,多个主页版本的企业网站后台管理系统,咨询管理,数据统计后台管理 ...
- javascript传值和页面跳转传值(ASP.NET页面传参的三种方法)
我在csdn上提的问题是 我现在希望从asp.net网页弹出对话框,弹出一些错误信息.警告.提示信息之类的东西,目前准备用javascript实现,所以我希望在调这个对话框的时候,动态传 ...
- JavaScript学习(九)—练习:实现跳转页面
JavaScript学习(九)-练习:实现跳转页面 <!DOCTYPE html> <html lang="en"><head><meta ...
- web前端期末大作业 html+css+javascript 全球私人定制旅游网页设计实例(6个页面)
web前端期末大作业 html+css+javascript 全球私人定制旅游网页设计实例(6个页面) 临近期末, 你还在为HTML网页设计结课作业,老师的作业要求感到头大?HTML网页作业无从下手? ...
- DIV布局艺购艺术品商城网页(1页) HTML+CSS+JavaScript 学生DW网页 使用html+css实现一个静态页面(含源码)
HTML5期末大作业:艺术品商城网站设计--艺购艺术品商城网页(1页) HTML+CSS+JavaScript 学生DW网页 使用html+css实现一个静态页面(含源码) 常见网页设计作业题材有 个 ...
最新文章
- 配置MySQL数据库单机多实例
- Set集合设置变量自增长
- 缓存系统memcache的安装,配置和使用
- lwip+freeRTOS 故障容错 客户端主动发起连接
- 疫情宅家促生“囤货经济”,北美零售业极限应考
- linux中mysql导入文件,linux下mysql导入sql文件命令
- pandas用均值填充nan_如何填补Pandas中的缺失值(机器学习入门篇)
- 卡盟销售官网源码php,卡盟整站程序源码 php版
- 计算机运行命令jar,jar文件打开教程
- robotframework-selenium2library-导入可选参数
- IEEE Xtreme 11.0极限编程题目分类
- 服务器基础知识全解(汇总版)
- 怎么下载jQuery文件
- 计算机等级二级c语言英文,计算机等级考试二级C语言考试大纲(国外英文资料).doc...
- java蓝桥杯练习 蜜蜂飞舞
- Android插件化——加载其他APP页面
- python quit()讲解_Python locals.QUIT属性代码示例
- java练习题-显示人的年龄和姓名
- oracle字符集有哪几种,Oracle字符集的三大类型
- 安全保障基于软件全生命周期-PSP应用