RPA拾取界面元素方式

RPA鼠标点击组件的拾取元素方式

ESC：退出本次拾取

F2 ：智能拾取开启
开启后默认为系统智能判断所需拾取的页面并自动切换拾取方式。如不需要智能模式，则可以通过 F2 手动关闭。

F3 ：CS 拾取
技术选型：pywinauto，封装 Win32 的 api，适用于 MFC，VB6，VCL，简单的 WinForms 控件和大多数旧的遗留应用程序。
适用范围：大部分基于 win32 Control 设计开发的客户端软件；
优点：比较稳定、适用范围较广；
缺点：对于不是依赖 win32 Control 开发的客户端就无法拾取，如 EXCEL 的 cell 都是通过代码绘制的就无法拾取。

F4：UIA 拾取
技术选型：uiautomation，封装的 windows 中的 uia 框架，适用于 WinForms，WPF，商店应用，Qt5，浏览器应用。
适用范围：几乎可以适用于所有 C/S、B/S 页面（个别可能出现无法拾取的情况，但拾取范围大于 CS 拾取）；
优点：拾取范围大、适用性广；
缺点：部分软件控件属性可能随时间推移变化，导致第二次执行就无法执行。

F5：图片拾取
适用范围：适用于所有客户端、网页等。
优点：拾取范围大
缺点：受分辨率、缩放等影响，控件任何微小的变化都会导致图片点击无法点击。（一般换电脑就需要重新拾取）

F8：区域拾取
适用范围：适用于所有客户端、网页等。
优点：拾取范围大，可以和其他（除图片拾取）拾取方式配合使用。
缺点：受缩放，控件位置等影响，此功能主要基于拾取控件的相对位置点击，受限于拾取控件位置是否变化，需要点击控件位置是否变化。
先切换 F3（CS 拾取）拾取到一个控件后，再按 F8（区域拾取），就可以实现基于 CS 拾取的偏移拾取，其他拾取也同理。

F7：Java 拾取
适用范围：适用于 java 类的客户端，或网页;
优点：可以解决 Java 类产品的拾取，如 Oracle EBS 等产品;
缺点：适用范围小，受 java 版本影响，现阶段只支持 1.6、1.7、1.8 版本。
java 拾取需要安装 java 插件，默认如果没有安装的话就会弹出是否安装插件的提示框。拾取和执行都是靠安装的插件来实现。

F6：IE 拾取（Web）
适用范围：适用于所有网页控件 Web;
优点：比较稳定，自由化程度高（执行路径可自定义），支持 ScrollIntoView;
缺点：执行速度受限于 ie 本身，如执行过程中 ie 崩溃。

F9 和 F10：Chrome 和 Firefox 拾取
适用范围：只适用于谷歌、火狐这种专门的浏览器；
优点：相对比较稳定；
缺点：需要安装插件，有些电脑需要管理员才能执行谷歌类操作。
此两种拾取需要安装插件，如果插件没加载成功则无法拾取，RPA10 之后可以自动弹出安装提示，也可自行在工具栏中添加插件，具体可查看链接：加载 Google 和 Firefox 浏览器插件。

F11：CV 拾取
技术选型：基于计算机视觉 computer vision，可以说是人工智能的拾取方式。
适用范围：适用于所有控件
优点：适用范围超大
缺点：需要连外网，执行速度和成功率受限网络速度和服务器识别功能。
运行时，基于视觉识别操作，用人工智能提升界面可操作性，因此需要连接外网，且该方法占用 API 使用次数。

F12：退出录制拾取

总结

对于元素或位置拾取，主要应用对象有三类，也就是自动化的操作对象：系统 system，客户端软件 client，浏览器 browser。

系统工具（文件资源管理器）：
F3，CS 拾取
F4，UIA 拾取

客户端软件 (native app)：
F3，CS 拾取（windows 软件）
F4，UIA 拾取（windows 软件）
F5，Java 拾取（java 类客户端）

浏览器应用（web app）：
F6，IE 拾取
F9，Chrome 拾取
F10，Firefox 拾取
（对于 web 页面的元素拾取，可以使用浏览器的开发者工具，结合 is-rpa 支持的 selector 拾取方式: CSS 定位，xpath 定位）

最重要的在于能够确定出页面元素的位置表达式，chrome，firefox 插件也是为了拾取方便，如果你能直接填写到属性框中，那就更好。

后记

RPA，流程自动化，无非就将人工操作的流程，照样子，用程序实现出来，为的是方便复用这组操作。
所以，对操作元素的定位是一个非常重要的基础。
从简来说，都是先定位，后操作。
为了能适应更多的场景条件，于是增加了变量，为的是将操作和数据分离。

RPA拾取界面元素方式相关推荐

RPA界面元素智能自适应定位与操控技术-金克
什么是RPA?RPA(Robotic Process Automation,机器人流程自动化)是通过特定的.可模拟人类在计算机界面上进行操作的技术,它可以按规则自动执行相应的流程任务,代替或辅助人类完 ...
RPA自动办公02——Uibot界面元素选择
继续RPA-Uibot的简单使用,本次带来RPA自动点击网页. 当然官方教程更加详细:界面元素自动化_UiBot开发者指南按照书上的教程,点击一个表格,在右边拖拽命令,然后选择元素就可以了: 这个表 ...
有感于“用界面线程去更新界面元素”
平常在做Winform的应用程序中,可能很少有人不用到多线程吧?一般说来,我们的工作线程多和界面的线程(主线程)不在一个线程中,道理也很简单,在一个线程中的话,较长时间等待的工作会阻塞界面线程,影响界 ...
android自动化必备之界面元素
包名&类名 packageName(包名) 应用的身份标识,系统通过包名识别不同的应用,如两个相同包名的应用在安装时候会覆盖 activityName(类名) Activity:android ...
TeeChart界面元素使用说明（区域填充、Marks、Annotation）
TeeChart界面元素使用说明面积填充仪表日常应用中经常会出现面积计算的场景,因此在谱图中填充面积可以更加直观地展示对应的面积区域. TeeChart工具箱(https://blog.c ...
JMeter5.2.1 改变界面元素大小和BodyData（消息体数据）字体大小
目录一.问题描述二.解决办法解决方式一解决方式二 (1)改变界面元素大小 (2)改变"消息体数据"(BodyData)代码字体大小一.问题描述二.解决办法解决方式一 ...
ubuntu16.04在英文状态下安装中文语言包的过程(法一：图形界面的方式) 以及安装中文语言包后无法选择汉语问题的解决
ubuntu16.04在英文状态下安装中文语言包的过程(法一:图形界面的方式) 以及安装中文语言包后无法选择汉语问题的解决参考文章: (1)ubuntu16.04在英文状态下安装中文语言包的过程( ...
html拖拽显示获取坐标,html界面元素拖拽实现［超简单］
就是一个十分简单的小功能,将一个html界面元素从一个地方拖到另一个地方(复制或移动) html部分,省略部分非关键代码 A股拖拽js部分, 即监听部分 $('#ma').bind('dragsta ...
selenium界面元素定位
一. Selenium界面元素定位本文元素定位以das2为例 #导入包 from selenium import webdriver #打开火狐驱动 driver=webdriver ...

RPA拾取界面元素方式

RPA拾取界面元素方式相关推荐

最新文章

热门文章