相信很多小伙伴都用过 Selenium 来完成爬虫工作，今天就给大家带来一个神器，可以录制你的浏览器动作，然后直接生成 Selenium 脚本，是不是心动了？

1 Selenium 简介

Selenium 是为了测试而出生的。但是没想到到了爬虫的年代，它摇身一变，变成了爬虫的好工具。

让我试着用一句话来概括 Seleninm：它能控制你的浏览器，有模有样地学人类「看」网页。

那么你什么时候会要用到 Selenium 呢？当你：

1、发现用普通方法爬不到想要的内容；
2、网站跟你玩「捉迷藏」，包含太多的 JavaScript 内容；
3、需要像人一样浏览的爬虫；

好了，Selenium 的其他这里不再赘述，本公众号已与 Google 达成战略协议，Google 可以免费提供 Selenium 的其他信息！

2 Katalon Recorder

Katalon Recorder 能够记录你使用浏览器的操作。

相信很多小伙伴都知道一个叫「按键精灵」的东西，它帮我做了很多重复性的工作，这个 Katalon Recorder 插件 + Selenium 就和按键精灵是一个意思，记录你的操作，然后你可以让电脑重复上千遍。

2.1 安装

谷歌应用商店和火狐插件均可下载安装。

安装完成后，右上角会出现插件图标：

2.2 使用

点击图标，会出现单独的 Katalon Recorder 窗口：

其中：
① 工具栏
② 用例管理器
③ 用例详情
④ Log/Reference/Variable

点击窗口上的 Record，下面就会开始录制浏览器操作了。

这里我们打开拉勾网首页，并搜索「Python」，然后点击下一页。

进入网站时的这个动作也可以录制：

每当点击的时候，插件就会记录下你这些点击。

录制完成后，点击「Play」还可以进行动作回放，会重新自动执行刚刚录制的动作。

最后神奇的事情将要发生你可以点击 Export 按钮：

可以根据录制的事件生成代码，这里不单单可以生成 Python 代码，Java、C#、Ruby 等，都不在话下。

这里的脚本应该是自动化测试使用的，我们爬虫时只要截取其中的 selenium、driver 部分的即可。

driver.get("https://www.lagou.com/")
driver.find_element_by_link_text(u"全国站").click()
driver.find_element_by_id("search_input").click()
driver.find_element_by_id("search_input").click()
driver.find_element_by_id("search_input").clear()
driver.find_element_by_id("search_input").send_keys("python")
driver.find_element_by_id("search_button").click()
driver.find_element_by_xpath(u"(.//*[normalize-space(text()) and normalize-space(.)='下一页'])[1]/following::span[5]").click()

3 总结

使用 Katalon Recorder 可以完成以下脚本的自动生成，但有时会不太好使，比如上面的下一页的点击，我运行代码时就不管用，还需要后续进行微调。

Katalon Recorder 还有很多其他方面的功能，其实人家是用来录制自动化测试脚本的，有兴趣的同学快试试吧~

转载于:https://www.cnblogs.com/hoxis/p/9699159.html

Katalon Recorder 自动录制 Selenium 爬虫脚本相关推荐

录制回放java_使用Katalon Recorder录制与回放脚本
本课程为一个完整的selenium自动化测试实战课程,采用当前**的版本3. 学完后可以独立构建起企业级/项目级的自动化测试,从搭建环境.编写脚本.使用框架组织运行脚本与输出报告.及与持续集成工具Je ...
Katalon Recorder的简介及使用
一.为什么要用Katalon Recorder这个插件呢? (1)由于火狐浏览器的不断升级,从火狐55开始Selenium就停止工作了: (2)Selenium的用户量大,不可能彻底废弃掉,所以,官方 ...
Selenium自动化测试-5.脚本录制神器Katalon Recorder
------·今天距2020年79天·------ 这是ITester软件测试小栈第57次推文大家好我是vivi小胖虎作为一个低调逗逼的鼠标工程师我当然想教你们平易近人的野路子啊一顿操作只需 ...
[python作业AI毕业设计博客]比Selenium IDE更好用的录制工具: Katalon Recorder
Selenium IDE(集成开发环境 Integrated Development Environment)是用于构建测试脚本的原型工具. 它是一个Firefox插件,提供了易于使用的界面,用于开发 ...
Selenium IDE使用指南一（爬虫脚本录制器）
安装从Chrome或Firefox网络商店安装Selenium IDE . 启动IDE 安装后,通过从浏览器菜单栏中单击其图标来启动它. 故障排除在菜单栏中没有看到Selenium IDE的图标? ...
自动化脚本录制工具katalon recorder
一,开篇自动化测试对测试人员来说,是一个觉得有技术含量的活,可当写不到20个场景,超不过1000行的代码时就觉得枯燥乏味没有什么技术含量了,每天都是F12,右键复制full xpath定位来定位去, ...
【UI 自动化测试平台解决方案】使用 Selenium IDE 录制 UI 自动化测试脚本
UI 自动化录制:Selenium IDE 通过 Selenium IDE 录制并重播功能,可以快速创建UI 自动化测试用例. 可以直接在界面中点击执行. 也支持在命令行运行测试脚本: $ selen ...
python和selenium爬虫，网页表格下载自动化脚本
一.selenium是啥框架底层使用JavaScript模拟真实用户对浏览器进行操作.测试脚本执行时,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真实用户所做的一样,从终端用户的角度 ...
【Python爬虫脚本】拒绝黄牛从我做起！Python自动抢购脚本，准点原价秒杀飞天茅台！！！
前言点击下方视频即可查看详细教程 [Python爬虫脚本]拒绝黄牛从我做起!Python自动抢购脚本,准点原价秒杀飞天茅台!!! 源码领取上述这份完整版的源码课件已经上传CSDN官方,朋友们如果需 ...
Python爬虫爬取表情包+Autojs微信自动导入表情包脚本(附源码)
废话不多说直接开始 Python爬取表情包一.检查网页源码发现可以找到图片地址,直接请求图片地址下载图片二.打开开发者工具(F12) 通过xpath提取p标签下的img标签src属性为图片地址 ...

Katalon Recorder 自动录制 Selenium 爬虫脚本