安装pyautogui模块

pyautogui模块可以向Windows、OSX和Linux发送虚拟按键和鼠标点击。

安装依赖在Windows上，不需要安装其他模块。

在OSX上，运行

sudo pip3 install pyobjc-framework-Quartz

sudo pip3 install pyobjc-core

sudo pip3 install pyobjc在Linux上，运行

sudo pip3 install python3-xlib

sudo apt-get install scrot

sudo apt-get install python3-tk

sudo apt-get install python3-dev

#(Scrot是PyAutoGUI使用的屏幕快照程序)。

在这些依赖安装后，运行pip install pyautogui(或在OSX和Linux上运行pip3)，安装pyautogui。

1. 异常情况处理

Python能以想象不到的速度移动并点击，它可能由于速度太快导致其他应用程序跟不上。以下有几种方法来防止和恢复自动化问题。

1.1 注销关闭所有程序来恢复系统。

1.2 暂停和自动防故障装置设置pyautogui.PAUSE = 1.5之后每个PythonGUI函数调用在执行动作之后，都会暂停1.5s，非PyAtuGUI指令不会暂停

将鼠标移动到左上角将产生pyautogui.FailSafeException异常，可以设置pyautogui.FAILSAFE=False，禁用自动防故障功能。如果真的遇到好的同事,那算你走运，加油，抓紧学到手。

python资源分享企鹅圈:1055012877

包含python, 爬虫等人工智能软件,以及网络安全、数据挖掘、python web等python技巧的制作方法。

打造从零基础到项目开发上手实战全方位解析!

2 控制鼠标

获取屏幕宽高：

#屏幕分辨率的不同，返回值可能不一样.

width, height = pyautogui.size()

2.1 鼠标移动moveto# 移动到x, y 坐标处，用时0.25s

pyautogui.moveto(x, y, duration=0.25)

moveRel# 相对于当前位置移动鼠标，x、y可以为负数

pyautogui.moveRel(x, y, duration=0.25)

获取鼠标当前的位置

调用pyautogui.position()，可以获得鼠标当前的位置。它将返回函数调用时，鼠标x、y坐标的元组。

2.2 点击鼠标鼠标点击，就调用 pyautogui.click()方法。默认 情况下，点击将使用鼠标左键，点击发生在鼠标当前所在位置。

可以传入x、y坐标作为可选的第一第二参数, 点击做标为x, y处。

如果想指定鼠标按键，就加入button关键字参数，值分别为'left'、'middle'或'right'。例如，pyautogui.click(100, 150, button='left')

实现点击也可以调用pyautogui.mouseDown()，这只是按下鼠标按键，再调用pyautogui.mouseUp()，这只是释放鼠标按键。这些函数的参数与click()相同。实际上，click()函数只是这两个函数调用的方便封装。

为了进一步方便，pyautogui.doubleClick()函数只 执行 双击鼠标左键。pyautogui.rightClick()和pyautogui.middleClick()函数将分别执行双击右键和双击中键。如果真的遇到好的同事,那算你走运，加油，抓紧学到手。

python资源分享企鹅圈:1055012877

包含python, 爬虫等人工智能软件,以及网络安全、数据挖掘、python web等python技巧的制作方法。

打造从零基础到项目开发上手实战全方位解析!

2.3 拖动鼠标

PyAutoGUI提供了pyautogui.dragTo()和pyautogui.dragRel()函数，将鼠标拖动到一个新的位置，或相对当前位置的位置。

# 拖动到x, y 坐标处，用时0.25s

pyautogui.dragTo(x, y, duration=0.25)

# 相对于当前位置拖动鼠标，x、y可以为负数

pyautogui.moveRel(x, y, duration=0.25)

2.4 滚动鼠标

pyautogui.scroll(d)。 传入一个整型，向上或向下滚动 d单位。单位的意义在每个操作系统和应用上不一样， 所以 必须试验，看看在当前情况下滚动多远。滚动发生在鼠标的当前位置。传递正整数表示向上滚动，传递负整数表示向下滚动。

3 处理屏幕

pyautogui有屏幕快照的功能，可以根据当前屏幕的内容创建图形文件。这些函数也可以返回一个Pillow的Image对象，包含当前屏幕的内容。

3.1 获取屏幕快照

调用pyautogui.screenshot()可以获取屏幕快照。

import pyautogui

img = pyautogui.screenshot()

img是屏幕快照的Image对象，img是完全不透明的，这就是让程序"看到"屏幕的方法。

3.2 分析屏幕快照

假设程序中有一步是点击灰色按钮，那么在调用click()方法之前可以进行校验，查看要点击处的像素，如果颜色和灰色按钮不一致，那么就可以知道程序出问题了。

匹配颜色：PyAutoGUI的pixelMatchesColor(x, y, (r,g,b))可以对颜色进行匹配，如果颜色一致返回true。第三个参数(r,g,b)必须是RGB颜色元组，并且颜色完全匹配才会返回True。

4 图像识别

PyAutoGUI可以同过屏幕某一部分的截图去找它在屏幕中的坐标:

>>>import pyautogui

>>>pyautogui.locateOnScreen('submit.png')

(643,745,70,29)

locateOnScreen()函数返回４个整数的元组，是屏幕上首次发现该图像时左边的x坐标、顶边的y坐标、宽度以及高度。如果屏幕上找不到该图像，locateOnScreen()函数将返回None。要成功识别屏幕上的图像必须与提供的图像完全匹配。即使只差一个像素，locateOnScreen()函数也会返回None。

如果该图像在屏幕上能够找到多处，locateAllOnScreen()函数将返回一个Generator对象。可以将它传递给list()，返回一个4整数元组的列表。(locationList=list(generator))。

5 控制键盘

5.1 输入字符串

pyautogui.typewrite()函数向计算机发送虚拟按键。这些按键产生什么效果，取决于当前获得焦点的窗口和文本输入框。(可能需要先向文本输入框发送一次鼠标点击，确保它获得焦点。)

例如：

>>> pyautogui.click( 100, 100); pyautogui.typewrite('Hello world!')

# 同一行中有两条指令用分号隔开

默认情况下，typewrite()函数将立即打印出完整字符串。可以传入可选的第二参数，在每个字符之间添加短时间暂停。

例如，pyautogui.typewrite('Helloworld!'，0.25)将在打出H后等待1/4秒。打出e以后再等待1/4秒。这种渐进的打字机效果，对于较慢的应用可能有用，它们处理击键的速度不够快，跟不上pyautogui。

对于A或!这样的字符，pyautogui将自动模拟按住Shift键。

5.2 使用特殊按键(enter、shift等等)

不是所有的键都很容易用单个文本字符来表示。例如把Shift键或左箭头键，那么这些特殊键如何使用呢？

在PyAutoGUI中，这些键表示为短的字符串值：'esc'表示Esc键，'enter'表示Enter。

除了单个字符串参数，还可以向typewrite()函数传递这些键字符串的列表。例如，以下的调用表示按a键，然后是b键，然后是左箭头两次，最后是X和Y键：

>>>pyautogui.typewrite(['a','b','left','left','X','Y'])

因为按下左箭头将移动键盘光标，所以这会输出XYab。PyKeyboard 属性

5.3 按下和释放键盘

就像mouseDown()和mouseUp()函数一样，pyautogui.keyDown()和pyautogui.keyUp()将向计算发送虚拟的按键和释放。它们将根据参数发送键字符串。方便起见，pyautogui提供了pyautogui.press()函数，它调用这两个函数，模拟完整的击键。

5.4 热键组合

例如，对于Ctrl-C，pyautogui.hotkey('ctrl', 'c')

对于Ctrl-Alt-Shift-S 热键组合显示 Style(样式)窗口。 只要调用hotkey('ctrl', 'alt', 'shift', 's')。

小结

本章介绍了许多不同函数，下面是快速的汇总参考：

moveTo(x，y)将鼠标移动到指定的x、y坐标。

moveRel(xOffset，yOffset)相对于当前位置移动鼠标。

dragTo(x，y)按下左键移动鼠标。

dragRel(xOffset，yOffset)按下左键，相对于当前位置移动鼠标。

click(x，y，button)模拟点击(默认是左键)。

rightClick()模拟右键点击。

middleClick()模拟中键点击。

doubleClick()模拟左键双击。

mouseDown(x，y，button)模拟在x、y处按下指定鼠标按键。

mouseUp(x，y，button)模拟在x、y处释放指定键。

scroll(units)模拟滚动滚轮。

正参数表示向上滚动，负参数表示向下滚动。

typewrite(message)键入给定消息字符串中的字符。

typewrite([key1，key2，key3])键入给定键字符串。

press(key)按下并释放给定键。

keyDown(key)模拟按下给定键。

keyUp(key)模拟释放给定键。

hotkey([key1，key2，key3])模拟按顺序按下给定键字符串，然后以相反的顺序释放。

screenshot()返回屏幕快照的Image对象。