现在的页面大部分都是通过Js渲染来显示页面的,也就是如果不滚动到页面底部就无法获取整个页面的HTML源码,如果通过CURL等抓取网页那么基本上抓取到都是一堆javascript代码。

所以就有了webkit爬虫,把整个页面渲染完了再抓取。这个到达页面底部的操作通常是在webkit中执行Js来完成的,注意如果通过js直接跳到底部页面只会渲染底部的HTML,中间的部分是不会渲染的。 所以下面这段代码就是通过js逐步滚动到页面底端,并且能判断出页面已达到底端来把setIntervel绑定的定时器清掉,以免造成死循环。

var delay = 10;//in milliseconds
var scroll_amount = 10;// in pixels
var interval;
function scroller() {var old = document.body.scrollTop;//保存当前滚动条到顶端的距离document.body.scrollTop += scroll_amount;//让滚动条继续往下滚动if (document.body.scrollTop == old) {//到底部后就无法再增加scrollTop的值clearInterval(interval);}
}
function scrollToBottom()
{interval = setInterval("scroller()",delay);
}scrollToBottom()

Pythonghost.py库来做webkit爬虫时就可以用它的evaluate方法执行这段代码来渲染出整个页面。

用Javascript滚动到页面底部,并能正确判断出页面已到底部的方法相关推荐

  1. html首页问候语,HTML5通过Javascript网页调用日期显示、根据时间判断问候语显示...

    HTML5通过Javascript网页调用日期显示.根据时间判断出不同时间段的问候语并显示 增加一段小小的问候语,就可以增加访客们对你网站的关照. 效果展示: 代码: 今天是: var day=&qu ...

  2. 如何使用JavaScript滚动到页面顶部?

    在滚动页面中如何使用JavaScript滚动到页面顶部?下面本篇文章就来给大家介绍一下使用JavaScript滚动到页面顶部的方法,希望对大家有所帮助. 在JavaScript中可以使用window. ...

  3. JavaScript中的scrollTop(js中的scrollTop,滚动到顶部,javascript滚动到顶部)

    简述:scrollTop是JavaScript中一个非常有用且重要的方法,它用于获取或设置元素的垂直滚动条位置,实现各种滚动相关的功能,无论是回到顶部.滚动到指定位置还是监听滚动事件,都需要用到scr ...

  4. CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面)

    CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面) 一款使用Bootstrap构建,多个主页版本的企业网站后台管理系统,咨询管理,数据统计后台管理 ...

  5. CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面)...

    CRM后台管理系统:HTML+CSS+JavaScript制作企业网站后台管理系统模板网站(46个页面) 一款使用Bootstrap构建,多个主页版本的企业网站后台管理系统,咨询管理,数据统计后台管理 ...

  6. javascript传值和页面跳转传值(ASP.NET页面传参的三种方法)

    我在csdn上提的问题是        我现在希望从asp.net网页弹出对话框,弹出一些错误信息.警告.提示信息之类的东西,目前准备用javascript实现,所以我希望在调这个对话框的时候,动态传 ...

  7. JavaScript学习(九)—练习:实现跳转页面

    JavaScript学习(九)-练习:实现跳转页面 <!DOCTYPE html> <html lang="en"><head><meta ...

  8. web前端期末大作业 html+css+javascript 全球私人定制旅游网页设计实例(6个页面)

    web前端期末大作业 html+css+javascript 全球私人定制旅游网页设计实例(6个页面) 临近期末, 你还在为HTML网页设计结课作业,老师的作业要求感到头大?HTML网页作业无从下手? ...

  9. DIV布局艺购艺术品商城网页(1页) HTML+CSS+JavaScript 学生DW网页 使用html+css实现一个静态页面(含源码)

    HTML5期末大作业:艺术品商城网站设计--艺购艺术品商城网页(1页) HTML+CSS+JavaScript 学生DW网页 使用html+css实现一个静态页面(含源码) 常见网页设计作业题材有 个 ...

最新文章

  1. 配置MySQL数据库单机多实例
  2. Set集合设置变量自增长
  3. 缓存系统memcache的安装,配置和使用
  4. lwip+freeRTOS 故障容错 客户端主动发起连接
  5. 疫情宅家促生“囤货经济”,北美零售业极限应考
  6. linux中mysql导入文件,linux下mysql导入sql文件命令
  7. pandas用均值填充nan_如何填补Pandas中的缺失值(机器学习入门篇)
  8. 卡盟销售官网源码php,卡盟整站程序源码 php版
  9. 计算机运行命令jar,jar文件打开教程
  10. robotframework-selenium2library-导入可选参数
  11. IEEE Xtreme 11.0极限编程题目分类
  12. 服务器基础知识全解(汇总版)
  13. 怎么下载jQuery文件
  14. 计算机等级二级c语言英文,计算机等级考试二级C语言考试大纲(国外英文资料).doc...
  15. java蓝桥杯练习 蜜蜂飞舞
  16. Android插件化——加载其他APP页面
  17. python quit()讲解_Python locals.QUIT属性代码示例
  18. java练习题-显示人的年龄和姓名
  19. oracle字符集有哪几种,Oracle字符集的三大类型
  20. 安全保障基于软件全生命周期-PSP应用

热门文章

  1. GDC2016 【巫师3 狂猎】的游戏事件工作流
  2. MYSQL在Windows 7下迁移安装路径教程
  3. IIS OCIEnvCreate failed with return code -1
  4. Sublime Text 2 备忘录(phper)
  5. C#编程指南:使用属性
  6. win7 lnk 图标丢失——图片缓存问题
  7. 中国股市悬着四把利剑
  8. 为什么统计学家应该关注数据挖掘
  9. 视频大压缩的具体操作方法
  10. Java学习之路-RMI学习