使用webdriver爬取网页

话不多说，先上代码和效果图。

# Author：wangdq
# Date ：2021/10/31 12:07
# Describe ：
from selenium import webdriverchrome_options = webdriver.ChromeOptions()
chrome_options.headless = True
chrome = webdriver.Chrome(chrome_options=chrome_options)chrome.get("https://wonderking.blog.csdn.net/")print(chrome.page_source)

效果图：

从上面的图片可以看出，获取到的chrom对象，他的page_source属性里面就是我们爬取的页面代码。

webdriver环境搭建

1、首先需要装chrome（谷歌浏览器）

2、下载对应的chromedriver，需要看你的谷歌浏览器的版本是那个。我的版本是95.0.4638.54

chromdriver下载链接

我使用的是windows，所以直接下载32位的压缩包。

下载后，将压缩包解压后获得chromedriver.exe文件，将它放到到python的安装目录下，我的是

C:\Users\admin\AppData\Local\Programs\Python\Python38-32

3、下载selenium

Python中安装selenium或者直接cmd中安装：

pip install -U selenium

4、最后一步就是测试了，参考文章开头的代码。

使用webdriver爬取网页相关推荐

python爬虫爬网站数据登录_使用webdriver+urllib爬取网页数据(模拟登陆，过验证码)...
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
使用webdriver+urllib爬取网页数据(模拟登陆，过验证码)
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
python3爬取网页AJAX数据
目前很多网站都使用ajax技术动态加载数据,和常规的网站不一样,数据时动态加载的,如果我们使用常规的方法爬取网页,得到的只是一堆html代码,没有任何的数据. Ajax是利用 JavaScript在保 ...
python爬虫之爬取网页基础知识及环境配置概括
记:python爬虫是爬取网页数据.统计数据必备的知识体系,当我们想统计某个网页的部分数据时,就需要python爬虫进行网络数据的爬取,英文翻译为 spider 爬虫的核心 1.爬取网页:爬取整个网页 ...
使用selenium爬取网页
今天学习了使用selenium爬取网页. #本地Chrome浏览器的可视模式设置: from selenium import webdriver #从selenium库中调用webdriver模块 d ...
关于爬取网页的时候，抓不到元素，报没有这样元素的错误
** 关于爬取网页的时候,抓不到元素,报没有这样元素的错误 ** 前言: 这里是先抓到了第一页的信息,然后通过构造的网址进入了第二个界面,然后出现抓不到第二个网页的元素问题 ''' **网上的解决方式 ...
Python爬取网页数据基本步骤
Python爬取网页数据基本步骤: from urllib import request response = request.urlopen('完整的网址') import requests imp ...
selenium爬取网页部分HTML代码
selenium爬取网页部分HTML代码 1.构造webdriver启动方法 2.保存完整HTML代码 3.保存部分HTML代码,及其他方法其他方案1:BeautifulSoup 其他方案2:lxm ...
利用脚本动态爬取网页信息
利用脚本动态爬取网页信息编译环境:Jupyter Notebook (Anaconda3) 调用的包:selenium,webdrive,webdriver_manager 文章目录利用脚本动态爬 ...

使用webdriver爬取网页

webdriver环境搭建

使用webdriver爬取网页相关推荐

最新文章

热门文章