基于Sikuli GUI图像识别框架的PC客户端自动化测试实践
一、GUI图像识别框架元祖:Sikuli
Sikuli 创始于 2009 年,是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。 它以图像检索技术为基础,提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程,完成交互操作。 Sikuli 一词取自墨西哥的土著语,意为“上帝之眼”,寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网:RaiMan's SikuliX
SikuliX支持作为脚本语言:
- Python 语言级别 2.7(由Jython支持)
- 支持运行RobotFramework文本脚本
- Ruby 语言级别 1.9 和 2.0(由JRuby支持)
- JavaScript(受 Java 脚本引擎支持)
SikuliX的常见用途:
- 应用程序或网页的日常自动化任务
- 玩游戏
- IT系统和网络的管理
二、Sikuli运行原理
How Sikuli Works — Sikuli X 1.0 documentation
三、Sikuli安装
Sikuli 支持跨平台运行,可以运行在Mac OS X、Windows 和 Linux 系统下。
下载地址:https://launchpad.net/sikuli/+download 或者官网:RaiMan's SikuliX
推荐安装x1.0-rc3(需要依赖JDK1.6版本)
四、Sikuli IDE主界面基本使用
Sikuli1.x版本官方文档:Sikuli Documentation — Sikuli X 1.0 documentation
1.左侧为常用函数,包括查找、鼠标动作、键盘动作等
2.点击元素的图片可以调节识别的偏移度、匹配的精度
3.sikuli脚本首次保存会提示并弹出保存路径,可自定义保存路径
4.脚本也可以导出为exe格式的可执行文件
- 一个脚本对应一个目录,目录中对应脚本中的图标截图、python脚本,
五、Sikuli 脚本语法
Sikuli 的脚本编写遵循 Python 语法规范,其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython,其核心代码由 Java 编写,可在用户自定义的 Java 工程中将其作为 Java 标准类库进行
- 定位APP窗口:myApp.window()
- 聚焦到当前APP:myApp.focus()
- 判断元素是否存在:exists()
- 点击某个元素或图标:click()
- 输入文本内容:type("http://www.baidu.com")
- 按下键盘按键:type(Key.ENTER) 按键名要大写
六、Sikuli 应用示例
PC客户端的自动循环发送消息的脚本示例:
import time import randommyApp=App("yueyun-im") # 声明APP实例 if not myApp.window(): # 判断当前是否处于APP窗口openApp("D:\\yueyun-im\\yueyun-im.exe") # 如果不处于APP窗口,则打开指定位置EXEmyApp.focus() # 聚焦于APP if exists("K7iX.png"): # 判断图标是否存在click("K7iX.png") # 点击指定图标按钮 if not exists("1655945972853.png"):click("1655946081065.png") click("1655945972853.png") #while 'p' in 'python': for i in range(10):type("TEST-SIKULI-MSG-"+str(i))time.sleep(0.2) # 休眠3秒#click("1655946081065.png")type(Key.ENTER) # 按下键盘的ENTER键,按键名要大写type(Key.ENTER) myApp.close() # 关闭APP
七、Sikuli 优势及局限
1.优势
① 学习成本低,只需掌握简单的python语法就能快速上手;
② 无需关注元素有哪些属性,所见即所得;
③ 适合非标准控件等自定义界面的定位,如游戏界面;
④ 支持跨平台,支持Windows、Linux、macOS;
2.局限
① 基于图像识别,图片的大小、分辨率、色彩都会对识别造成影响,定位不能百分百准确地识别到元素;
② 只能定位当前正在操作的窗口界面;
③ 若流程过长,则会造成脚本过于臃肿;
④ 图片存在相似度,会对识别造成影响,需要手动一一调整图片的精度;
Sikuli 使用小结
- 尽管sikuli用来实现复杂的测试场景不太现实,这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余,比如:
① 循环、持续发送消息,7*24h运行,以检测程序运行稳定性;
② 持续发送图片或视频文件,以检测程序的连续上传、下载文件的稳定性;
③ 在不同的PC系统版本上运行,以检测程序的兼容性;
- 对于web自动化、APP自动化主要用该端特定的自动化框架,如selenium、appium,sikuli作为辅助、可以和selenium等结合使用;
- 对于特定的、复杂的场景,如游戏界面、flash应用等难以识别到元素的应用界面,可以使用sikuli;
- 今天在测试场景②的过程中也发现了一个bug:【当前聊天窗口,连续下载图片过程中,程序闪退】。虽然硬说是sikuli测出来的bug有些牵强,但本身自动化测试也不是用来发现bug的,sikuli也算是出了很大一份力。只要能合理地利用,任何不起眼的工具都可以发挥它的价值!
基于Sikuli GUI图像识别框架的PC客户端自动化测试实践相关推荐
- twisted:基于python的twisted框架编写一个客户端和服务端的对话聊天空间
twisted:基于python的twisted框架编写一个客户端和服务端的对话聊天空间 目录 输出结果 实现代码 输出结果 更新-- 实现代码 #基于python的twisted框架编写一个简单的聊 ...
- 基于Selenium与Pytest框架的Web UI自动化测试系统的设计与实现
摘要 随着互联网的高速发展,软件技术日新月异,产品更新换代的加快等,始终都离不开一个最核心的要素就是保证产品的质量,测试人员则在其中担任着不可或缺的角色.测试人员的主要工作职责就是通过各种测试手段去发 ...
- 使用WindowsAPPDriver做PC客户端自动化测试
使用微软的WinAppDriver进行Windows客户端自动化测试 一.WinAppDriver简介: 参见:https://github.com/microsoft/WinAppDriver Wi ...
- 模拟器客户端自动化测试实践
1 背景 1.1 作者背景 作者在过去一年多内,在某大型游戏公司负责游戏 SDK 业务的质量保障工作,在客户端自动化测试方面有一定的探索和实践. 1.2 项目背景 1.2.1 为什么要做客户端自动化测 ...
- PC客户端自动化测试-控件操作方法
6 操作窗口和控件 **注意: 点击操作时,若有其它程序弹窗口出现时,点击动作可能失效.所以测试时,应关闭可能出现弹窗口的其它软件. 比如输入法,应设置为隐藏状态栏.即使调用输入法时也不出现弹窗口. ...
- python实现电脑程序自动化_python基于pywinauto实现PC客户端自动化
一.前言 我们柠檬班的小可爱,在学完我们柠檬班自动化的课程之后,就掌握了接口自动化,web自动化,app自动化,这些工作中常用的自动化技能,在工作足以够应对90%以上的自动化需求了.不过近期也有部分小 ...
- python制作客户端软件_python 实现 PC 客户端自动化快速入门:pywinauto !
一.前言 我们柠檬班的小可爱,在学完我们柠檬班自动化的课程之后,就掌握了接口自动化,web自动化,app自动化,这些工作中常用的自动化技能,在工作足以够应对90%以上的自动化需求了.不过近期也有部 ...
- 爱奇艺RND框架介绍及在PC客户端的应用实践
前言 RND,全称React Node Desktop,起源于RN在爱奇艺PC端的实现,采用React JS framework +Node.js runtime + native UI engine ...
- ssh客户端_一款基于TAS框架的SSH客户端蠕虫
TEA是一款基于TAS框架的SSH客户端蠕虫,从本质上说,它是一个仿冒的SSH客户端,它能够修改tty输入/输出来实现任意命令执行,或通过SSH连接来上传自身以实现渗透感染. 为了实现该工具的正常功能 ...
最新文章
- 【从零开始的ROS四轴机械臂控制】(一)- 实际模型制作、Solidworks文件转urdf与rviz仿真
- python论坛哪些好-好的python论坛
- 大数据能否力挽国足败落狂澜?
- halcon窗体的移动和缩放_halcon与C#联合编程之鼠标控制图片缩放,拖动,roi
- 7-1 特殊a串数列求和 (20 分)
- 公安部督办侵犯个人信息案:银行行长卖账号
- MathType输入花体字
- PCL:三维点云概述(一)
- 真香!微软办公环境大揭秘!
- ckeditor拖拽添加html,CKEditor插入HTML
- 春日街拍夯货 原来你离时尚只有一道水波纹的距离
- 和朱晔一起复习Java并发(一):线程池
- Java整型变量举例_java 整型常量和整型变量的问题
- Linux系列: 777 755区别
- shimano 型号详解 (zz)
- 吃鸡手游竟然是 Python 写的?
- WebAR+教育丨帮助老师课堂教学,教育展览
- https://www.cnblogs.com/richered/p/8344087.html
- 小程序转App最便捷的方法,附实操
- 树莓派4B debian嵌入式远程连接远程控制xrdp(Ubuntu为例)
热门文章
- BZOJ:3894: 文理分科(网络流)
- Python课程设计-图书管理系统
- 域名续费价格为什么比首年注册价格高?
- Xcode 如何删除过期的Provisioning Profile文件
- 方法:大学生找工作的八大建议...让你不再迷茫
- C++ Primer Plus 笔记(16章:string类和标准模板库)
- 天钰原装正品FR9608供应,同步降压DC/DC提供4.5V至28V宽输入的转换器
- 国产MCU-CW32F030开发学习-圆形GC9A01_LCD模块
- USB-C领夹式无线麦克风方案组成拆解报告
- 使设备管理器在Windows中显示不存在的设备