python爬虫selenium页面滑动案例

一个python网络爬虫关于selenium页面滑动的简单案例
需求如下：
用selenium访问链家网站长沙新房1-5页的数据，并保存下来。滑动，然后点击翻页翻页数据，并保存下来
目标网站：https://cs.fang.lianjia.com/loupan/
过程要求使用面向对象的写法。

代码示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time# 定义类
class LianJia(object):def __init__(self):self.driver = webdriver.Chrome()# 打开页面self.driver.get('https://cs.fang.lianjia.com/loupan/')def clear_driver(self):# 关闭驱动self.driver.close()self.driver.quit()# 代码核心部分def scroll(self):while True:# 滑动之前的页面高度document = self.driver.execute_script('return document.body.scrollHeight;')time.sleep(2)# 滑动页面self.driver.execute_script(f'window.scrollTo(0,{document})')time.sleep(2)# 滑动之后的页面高度document2 = self.driver.execute_script('return document.body.scrollHeight;')# 比较滑动前与滑动后的高度if document == document2:break# 定义翻页函数def up_page(self):time.sleep(1)# 点击下一页self.driver.find_element(By.XPATH,'//*[text()="下一页"]').click()# 定义保存页面源码函数def save_page(self, n=1):time.sleep(2)# 保存数据with open(f'第{n}页.html', 'w', encoding='utf-8') as f:f.write(self.driver.page_source)# 定义总的执行函数def run(self):try:self.save_page()  # 第一页for n in range(2, 6):  # 第二三四五页self.scroll()self.up_page()self.save_page(n)except Exception as e:print(e)finally:self.clear_driver()if __name__ == '__main__':lianjia = LianJia()lianjia.run()

获取页面源码则对浏览器驱动对象self.driver调用page_source属性。
执行JavaScript代码使用execute_script() 方法。

其中还涉及一点关于翻页的简单的JavaScript代码语句：
document.body.scrollHeight表示获取页面高度，
先获取页面高度，然后使用将页面向下翻动该数量的高度，然后再获取一次页面高度。如果页面高度此时没有发生变化，即判断刚刚的高度等于现在的高度，则说明已经翻到底了，跳出while循环，可以进一步去定位到“下一页”按钮处的element，并使用click() 方法点击。
window.scrollTo(x,y) 表示页面的滑动，滑动到指定位置，这里x轴无需滑动，则将x轴写为0，y轴写入要滑到的位置。
window.scrollBy(x,y) 表示滑动一定单位距离。

这样，翻动并点击的一个简单案例就实现啦。祝您学习顺利!

python爬虫selenium页面滑动案例相关推荐

Python爬虫-Selenium（1）
Python爬虫-Selenium(1) @(博客)[python, 爬虫, selenium, Python] Python爬虫-Selenium(1) 前言前期准备基础使用进阶使用浏览器操 ...
基于python爬虫————静态页面和动态页面爬取
基于python爬虫----静态页面和动态页面爬取文章目录基于python爬虫----静态页面和动态页面爬取 1. 爬虫的原理 2. 用正则表达式匹配获取数据 3. 页面源码解析 4. 通过req ...
[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
前面几篇文章介绍了Selenium.PhantomJS的基础知识及安装过程,这篇文章是一篇应用.通过Selenium调用Phantomjs获取CSDN下载资源的信息,最重要的是动态获取资源的评论,它是 ...
[Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍
前三篇文章介绍了安装过程和通过Selenium实现访问Firefox浏览器并自动搜索"Eastmount"关键字及截图的功能.而这篇文章主要简单介绍如何实现自动登录163邮箱,同时 ...
[python爬虫] Selenium常见元素定位方法和操作的学习介绍(转载)
转载地址:[python爬虫] Selenium常见元素定位方法和操作的学习介绍一. 定位元素方法官网地址:http://selenium-python.readthedocs.org/locat ...
Python爬虫 Selenium实现自动登录163邮箱和Locating Elements介绍
Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门 https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6E ...
python爬虫实战——猫眼电影案例
python爬虫实战--猫眼电影案例 ·背景笔者上一篇文章<基于猫眼票房数据的可视化分析>中爬取了猫眼实时票房数据,用于展示近三年电影票房概况.由于数据中缺少导演/演员/编剧阵容等信 ...
Python 爬虫 Selenium 基本使用
Python 爬虫 Selenium 基本使用 1. 基础知识 1.1 下载浏览器驱动 1.2 帮助文档 2. 浏览器操作 2.1 浏览器导航 2.2 窗口和选项卡 2.3 Frames and If ...
[Python爬虫] Selenium实现自己主动登录163邮箱和Locating Elements介绍
前三篇文章介绍了安装过程和通过Selenium实现訪问Firefox浏览器并自己主动搜索"Eastmount"keyword及截图的功能.而这篇文章主要简介怎样实现 ...

python爬虫selenium页面滑动案例

python爬虫selenium页面滑动案例相关推荐

最新文章

热门文章