uibot为什么可以操作界面元素?

Windows上的应用程序实际上由很多开发框架,包括SDK,MFC,WTL,wINfORM,WPF,QT,JAVA等等,还有IE和chrome中的web应用。这些应用程序其实都提供了界面元素的查找和操作接口。从技术上来说,Uibot无非就是调用这些接口而已。

什么是有目标命令

在命令中指定一个界面元素。在运行的时候,会先查找这个界面元素是否存在,如果存在,则操作会针对这个界面元素进行。如果不存在,会反复查找,直到超过指定的时间,在使用uibot的时候,应该优先使用有目标的命令,因为有目标的命令会准确很多

跨域网页

有时候在一个网页中,会通过iframe嵌套的方式,在其中内嵌一个其他域名下的网页。以qq为例子,当前网页的域名为https://mail.qq.com/,内嵌的域名为https://xui.ptlogin2.qq.com/cgi-bin/xlogin,这种就是典型的跨域操作

IE浏览器不会对跨域做特殊处理,但是chrome,处于安全考虑,会禁止对iframe下的页面进行操作,包括页面元素的获取等,即我们无法自动化操作

无目标命令

  • "模拟移动"命令,就是一个无目标命令,它是靠指定x,y坐标来确定位置的
  • 在window操作系统中,屏幕上的每一个点都有一个唯一的坐标,坐标由两个整数组成,一个称为x,一个称为y。左上角为(0,0).
  • 窗口变化,原来的坐标就不能匹配了,导致操作和预期不一致。
  • 图像命令也是无目标命令,它会在屏幕上的指定区域,按照从左到右,从上到下的顺序一次扫描,看这个图像能否出现在指定区域当中
objPoint = Image.Find({"wnd":[{"cls":"classFoxitPhantomPersonal","title":"xxx- Foxit PhantomPDF个人版","app":"FoxitPhantom"}]},{"height":0,"width":0,"x":700,"y":700},@res"n8ni339k-sjjp-a0es-9c6e-0uqqlfab7vfq.png",0.9,10000,{"bContinueOnError":False,"iDelayAfter":300,"iDelayBefore":200,"bSetForeground":True,"sMatchType":"GrayMatch","iSerialNo":1})

uibot提供的图像命令下面有一条"点击图像",它其实是“查找图像”,“模拟移动”,“模拟点击”三条命令的组合

图像命令,可以在无法获取界面元素的情况下,在指定的区域内找到准确的操作位置,但是还不能像有目标的命令那样,把界面元素中的内容读出来,这时候就需要用到OCR识别技术了。

无目标命令的缺点,特别是图像,OCR命令

  • 速度慢于有目标命令
  • 当图像备遮挡时,会出现识别或查找错误
  • 需要依赖图像文件,一旦丢失图像文件,无法正常运行
  • OCR需要连接互联网

uibot一些知识点相关推荐

  1. 解释型语言与编译型的必须知识点

    解释型语言与编译型的必须知识点 概念: 计算机不能理解直接理解高级语言,只能理解机器语言,所以必须把高级语言翻译成机器语言,计算机才能执行高级语言编写的程序. 翻译的方式有两种: 编译 解释 两种翻译 ...

  2. YOLOV4知识点分析(二)

    YOLOV4知识点分析(二) 数据增强相关-mixup 论文名称:mixup: BEYOND EMPIRICAL RISK MINIMIZATION 论文地址:https://arxiv.org/ab ...

  3. YOLOV4知识点分析(一)

    YOLOV4知识点分析(一) 简 介 yolov4论文:YOLOv4: Optimal Speed and Accuracy of Object Detection arxiv:https://arx ...

  4. 你需要掌握的有关.NET DateTime类型的知识点和坑位 都在这里

    引言    DateTime数据类型是一个复杂的问题,复杂到足以让你在编写[将日期从Web服务器返回到浏览器]简单代码时感到困惑. ASP.NET MVC 5和 Web API 2/ASP.NETCo ...

  5. 简练软考知识点整理-范围确认易混概念

    与确认范围容易混淆的知识点包括,确认范围与核实产品.质量控制.项目收尾,下面进行比较分析. (1)确认范围与核实产品 核实产品是针对产品是否完成,在项目(或阶段)结束时由发起人或客户来验证,强调产品是 ...

  6. 朴素贝叶斯知识点概括

    1. 简述 贝叶斯是典型的生成学习方法 对于给定的训练数据集,首先,基于特征条件独立假设,学习输入/输出的联合概率分布:然后,基于此模型,对于给定的输入x,根据贝叶斯定理求后验概率最大的输出y 术语说 ...

  7. 计算机二级函数知识,2017年全国计算机二级考试MS Office高级应用知识点:INDIRECT函数...

    INDIRECT函数知识点 适用考试:全国计算机二级考试 考试科目:MS Office高级应用 科目知识点:INDIRECT函数 INDIRECT函数立即对引用进行计算,并显示其内容.当需要更改公式中 ...

  8. python如何创建一个类_python (知识点:类)简单的创建一个类

    #!/usr/bin/env python # -*- coding: utf-8 -*- """ Created on Mon Nov 14 01:01:29 2016 ...

  9. 全国计算机二级vfp知识点,全国计算机二级VFP知识点总结

    全国计算机二级 Visual FoxPro 数据库程序设计 --知识点整理资料 文件扩展名及备注文件扩展名 文件 项目 表 程序 单索引 查询 菜单定义格式 扩展名 .pjx .dbf .prg .i ...

最新文章

  1. mycat和应用程序集成_企业应用程序集成简介
  2. linux可以不用grub吗,既然不用Win了,那么GrubDOS也不用了。linux grub求指导
  3. 如果NATv6 是个笑话,那么 IPv6 是什么?
  4. json文件_ajax
  5. Java传智播客基础班百度云分享,详解系列文章
  6. 最新字节跳动面试题之堆排序
  7. 深入学习smali语法
  8. dataworks手册_DataWorks 使用教程
  9. Spring AOP(面向切面)
  10. katana 靶机 wp
  11. 微信小程序报错“getLocation:fail the api need to be declared in the requiredPrivateInfos field in app.js...“
  12. 帮你解读身份证号码的秘密
  13. CLIP Passo:Semantically-Aware Object Sketching图像生成简笔画
  14. React实现(Web端)网易云音乐项目(三),错过了真的可惜呀
  15. 【Android】通用系列 —— 快速搭建设置界面
  16. 无人机从零到一(组装、校准到起飞)
  17. 为什么可见光是“可见”光?
  18. 51单片机的PID水温控制器设计
  19. 市场调研-全球与中国JEDEC托盘市场现状及未来发展趋势
  20. 波士顿大学 计算机专业,波士顿大学计算机专业录取

热门文章

  1. DellOptiPlex 5060台式机WinServer2012系统安装网卡驱动回顾
  2. x64dbg调试程序遇到异常:406D1388,MS_VC_EXCEPTION. E06D7363, CPP_EH_EXCEPTION
  3. Flink(十六)—— Flink parallelism 和 Slot 介绍
  4. 一个网站部署EV SSL证书的优势
  5. pageoffice for java_PageOffice for Java免费版下载
  6. 【乔布斯走了】别太熬夜了,身体没了,事业算啥,防癌16条
  7. 智能手机降价杀:你方唱罢我登台 搞死一个少一个
  8. 【凸优化学习笔记1】什么是优化、优化的数学表达形式、优化问题的分类
  9. Multisim基础 模拟电路必须有接地
  10. ZYNQ7000 (二十)等精度频率计的原理分析和实例实现