爬虫篇 | 快速入门selenium（十一）

2024-04-11 02:42:51

如果爬虫不会Selenium 就不要说自己会爬虫

Selenium简介

Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样

支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。

我们可以利用它来模拟用户点击访问网站，绕过一些复杂的认证场景
通过selnium+驱动浏览器这种组合可以直接渲染解析js，绕过大部分的参数构造和反爬。

安装Selenium

Selenium安装非常简单，直接pip就可以搞定: pip install selenium

使用selenium驱动chrome浏览器需要下载chromedriver，而且chromedriver版本需要与chrome的版本对应，版本错误的话则会运行报错。

Chromedriver下载地址：https://chromedriver.storage.googleapis.com/index.html

Windows: 下载对应版本的chromedriver解压后，将文件移动到一个配置了环境变量的文件夹中，例如Python安装文件夹

Linux/Mac: 解压后，将文件移动至/usr/local/bin目录中

测试

爬虫篇 | 快速入门selenium（十一）相关推荐

.NET Core实战项目之CMS 第二章入门篇-快速入门ASP.NET Core看这篇就够了
本来这篇只是想简单介绍下ASP.NET Core MVC项目的(毕竟要照顾到很多新手朋友),但是转念一想不如来点猛的(考虑到急性子的朋友),让你通过本文的学习就能快速的入门ASP.NET Core.既 ...
rdkafka线程过多_Kafka快速入门（十一）——RdKafka源码分析
Kafka快速入门(十一)--RdKafka源码分析一.RdKafka C源码分析 1.Kafka OP队列 RdKafka将与Kafka Broke的交互.内部实现的操作都封装成Operator结 ...
Spring-第一篇-快速入门
学习目标: 本篇文章将会带领大家学习到一些关于spring快速入门的技巧,通过学习,可以达到了解spring到底是干嘛的,如何进行spring程序的编写. 适宜人群: 刚刚学习完javaweb/jsp ...
爬虫篇-如何下载selenium及其适配谷歌浏览器插件chromedriver
最近换了电脑,练习爬虫时用到selenium,结果在重新安装chromedriver插件的时候发现原网址不能使用,找了好久终于找到了了新网址,顺便更一篇详细使用的文章,希望可以对屏幕前的你有所帮助.本 ...
IntelliJ IDEA快速入门 | 第二十一篇：IntelliJ IDEA中的常用配置（十三）——设置项目文件的编码
如何设置项目文件的编码呢?首先,进入IntelliJ IDEA的设置界面中,并展开Editor这一项,这时你会看到File Encodoings,选中它之后,可以看到如下图所示的界面. 在以上界面中, ...
【数据分析】【数据获取】【Python爬虫】快速入门+实例+代码+GIF实操
一:爬虫认知爬虫名称由来于蜘蛛结网,蜘蛛在一个一个的蛛网节点中等待猎物的到来.而我们的爬虫也是从网页页面的HTML资源中取出我们要的节点资源.二者过程相似,因此爬虫称之为Spider. 1.1 爬虫 ...
一篇快速入门各程序员都在使用的Typora的基础教程（20分钟快速掌握）
Typora的使用(基础篇) 一.Typora的介绍 1.1 简介 Typora是一款轻便简洁的Markdown编辑器,即在Typora编写时使用Markdown语言.Typora支持即时渲染技术,这 ...
CarSim仿真快速入门(二十一)-CarSim: 车轮箭头动画和其他指示动画
CarSim2022中的动画是:车轮箭头和其他指标界面用于定义一组轮胎力或其他感兴趣的变量的视觉动画指标,这些指标在仿真车辆的每个车轮.轮胎或车轴上重复出现. 所有VehicleSim(VS)产品都包 ...
.NET Core实战项目之CMS 第六章入门篇-Vue的快速入门及其使用
写在前面上面文章我给大家介绍了Dapper这个ORM框架的简单使用,大伙会用了嘛!本来今天这篇文章是要讲Vue的快速入门的,原因是想在后面的文章中使用Vue进行这个CMS系统的后台管理界面的实现.但 ...

最新文章

热门文章