一文3000字教你实现Airtest测试中文字识别【保姆级教程】

Airtest是一款基于图像识别原理的跨平台UI自动化测试框架，它能够根据大量的特征点来识别一个截图在当前画面中的位置，但是它并不能识别出截图中具体包含了什么文字。

而在自动化测试的过程中，我们会经常遇到需要进行文字识别的场景，比如识别验证码、识别截图中的文字、读取截图中的数值等等，遇到这些情况时我们可以如何处理呢？

今天教大家用一款免费的开源图像OCR文字识别软件 – Tesseract-OCR 来处理上述情况。

1.安装Tesseract-OCR.exe

在网上搜索“Tesseract”，我们可以找到很多Tesseract-OCR的下载链接和安装教程，大家可以选择其中一个版本下载到本地即可。

下载完成后双击进入安装，需要特别注意的是，在选择安装的组件时，我们需要把 Additional language data(download) 这一选项勾上，目的是安装各个版本的语言包，后续我们就不用手动下载语言包来安装了。

还有一点要注意的是，记住我们选择的软件安装路径，因为我们需要把这个路径添加到系统环境变量的 path 中：

另外一个要新增的环境变量是 TESSDATA_PREFIX ，如下图所示，未设置在识别过程中会报 Please make sure the TESSDATA_PREFIX environment variable is set to the parent directory of your “tessdata” directory 的错误：

完成以上工作后，我们可以在命令行用 tesseract -v 验证环境是否配置成功：

2.在本地python环境中安装pytesseract

因为我们最终要在python环境中使用 airtest 和 tesseract ，所以需要在本地的python环境中安装上 airtest 库和 pytesseract 库：

pip install airtest
pip install pytesseract

复制代码
安装完毕后可以在命令行输入 pip list 检查安装结果：

3.用airtest截图并识别截图文字

打开我们的AirtestIDE，在选项–设置–自定义python.exe路径中设置我们刚才安装好对应库的python环境：

以之前官网提供的 poco demo的界面为例，我们用 airtest 把红框部分的截图截取下来，然后再利用 tesseract 把截图中的文字识别并打印出来：

具体实现如下：

# -*- encoding=utf8 -*-
__author__ = "AirtestProject"from airtest.core.api import *
from airtest.aircv import *
auto_setup(__file__)from PIL import Image
import pytesseract# 局部截图
screen = G.DEVICE.snapshot()
local = aircv.crop_image(screen,(132,58,380,126))# 保存局部截图到指定文件夹中
pil_image = cv2_2_pil(local)
pil_image.save("D:/test/score0.png", quality=99, optimize=True)# 读取截图并识别截图中的文字
image = Image.open(r'D:/test/score0.png')
text = pytesseract.image_to_string(image)
print("-----------初始数据为--------------")
print(text)

识别结果如下：

知识点：

① G.DEVICE.snapshot() ，对当前设备画面进行截图并保存在内存中。

② crop_image() ，局部截图的方法，需要传入俩个参数，一个是内存中的截图，就像这里的 screen ，另一个是截取偏移 [x_min, y_min, x_max ,y_max] 。

③ Image.open() ，用来直接读取给定路径指向的图片

④ image_to_string() ，用来解析图片中的文字

4.识别验证码
以下述验证码截图为例，该截图的保存路径为 D:/test/7364.jpg ：

识别方式和结果如下：

# 识别验证码
image2 = Image.open(r'D:/test/7364.jpg')
text2 = pytesseract.image_to_string(image2)
print("-----------验证码为--------------")
print(text2)
log("验证码为："+text2)

5.识别中文文字

识别中文的方法和识别数字与英文基本一致，但比较特别的是，我们需要在 image_to_string() 方法中指定中文的语言参数（示例代码中指定了简体中文来识别截图）：

# 识别中文
image3 = Image.open(r'D:/test/3.png')
text3 = pytesseract.image_to_string(image3,lang='chi_sim')
print("-----------识别出来的文字为：--------------")
print(text3)
log("识别出来的文字为："+text3)

学习资源分享

最后感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走

这些资料，对于做【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！凡事要趁早，特别是技术行业，一定要提升技术功底。希望对大家有所帮助…….