安装pyautogui模块

• 在Windows上，没有其他模块可以安装。

• 在OS X上，运行sudo pip3 install pyobjc-framework-Quartz，sudo pip3 install pyobjc-core然后sudo pip3 install pyobjc。

• 在Linux上运行sudo pip3 install python3-xlib，sudo apt-get install scrot，sudo apt-get install python3-tk，和sudo apt-get install python3-dev。（Scrot是PyAutoGUI使用的截图程序。）

保持正轨

也许停止失控GUI自动化程序的最简单方法是注销，这将关闭所有正在运行的程序。在Windows和Linux上，注销热键是CTRL - ALT - DEL。在OS X上，它是- SHIFT - OPTION -Q。通过注销，您将失去所有未保存的工作，但至少您不必等待电脑完全重新启动。

您可以让脚本在每次函数调用后等待，如果出现错误，您可以通过一个简短的窗口来控制鼠标和键盘。为此，请将该pyautogui.PAUSE变量设置为您希望暂停的秒数。例如，设置之后pyautogui.PAUSE = 1.5，每个PyAutoGUI函数调用在执行其操作后都会等待一个半秒。非PyAutoGUI指令不会有这个暂停。

PyAutoGUI还具有故障安全功能。将鼠标光标移动到屏幕的左上角将导致PyAutoGUI引发pyautogui.FailSafeException异常。您的程序可以使用try和except语句来处理这个异常，或让异常崩溃您的程序。无论哪种方式，如果您尽可能快地将鼠标尽可能快地移动，则故障安全功能将停止程序。您可以通过设置禁用此功能pyautogui.FAILSAFE = False。在交互式shell中输入以下内容：

>>> import pyautogui
>>> pyautogui.PAUSE = 1
>>> pyautogui.FAILSAFE = True

在这里，我们导入pyautogui并设置pyautogui.PAUSE到1每个函数调用之后一秒钟的停顿。我们设置pyautogui.FAILSAFE为True启用故障安全功能。

控制鼠标移动

图18-1。1920×1080分辨率的电脑屏幕的坐标

现在您已了解屏幕坐标，让我们移动鼠标。该pyautogui.moveTo()功能会立即将鼠标光标移动到屏幕上的指定位置。x坐标和y坐标的整数值分别构成函数的第一个和第二个参数。可选的durationinteger或float关键字参数指定将鼠标移动到目标所需的秒数。如果您将其忽略，则默认0为瞬时移动。（durationPyAutoGUI函数中的所有关键字参数都是可选的。）在交互式shell中输入以下内容：

>>> import pyautogui
>>> for i in range（10）：pyautogui.moveTo（100，100，duration = 0.25）pyautogui.moveTo（200，100，duration = 0.25）pyautogui.moveTo（200，200，duration = 0.25）pyautogui.moveTo（100,200，持续时间= 0.25）

本示例在总共提供了十次的四个坐标中以正方形模式顺时针移动鼠标光标。每次移动都需要四分之一秒，正如duration=0.25关键字参数所指定的那样。如果您没有向任何pyautogui.moveTo()呼叫传递第三个参数，则鼠标光标将立即从点到点传送。

该pyautogui.moveRel()函数相对于当前位置移动鼠标光标。下面的示例将鼠标移动到相同的方形图案中，只不过它在代码开始运行时从鼠标碰巧在屏幕上的任何地方开始。

>>> import pyautogui
>>> for i in range（10）：pyautogui.moveRel（100，0，duration = 0.25）pyautogui.moveRel（0，100，duration = 0.25）pyautogui.moveRel（-100，0，duration = 0.25）pyautogui.moveRel（0，-100，持续时间= 0.25）

pyautogui.moveRel()还有三个参数：水平向右移动多少像素，向下垂直移动多少个像素，以及（可选）多长时间完成移动。第一个或第二个参数的负整数将导致鼠标分别向左或向上移动。

您可以通过调用该pyautogui.position()函数来确定鼠标的当前位置，该函数将在函数调用时返回鼠标光标的x和y位置的元组。在交互式shell中输入以下内容，在每次调用后移动鼠标：

>>> pyautogui.position（）
（311,622）
>>> pyautogui.position（）
（377,481）
>>> pyautogui.position（）
（1536，637）

当然，您的返回值会因鼠标光标的位置而异。

项目：“鼠标现在在哪里？”

• 显示鼠标光标的当前x和y坐标。

• 鼠标在屏幕上移动时更新这些坐标。

• 调用position()函数来获取当前坐标。

• 通过\b在屏幕上打印退格字符来擦除以前打印的坐标。

• 处理KeyboardInterrupt异常，以便用户可以按CTRL -C退出。

用以下方法启动您的程序：

＃！python3
＃mouseNow.py  - 显示鼠标光标的当前位置。
进口pyautogui
打印（'按Ctrl-C退出'。）
#TODO：获取并打印鼠标坐标。

程序的开始导入pyautogui模块，并向用户打印一条提醒，他们必须按CTRL -C退出。

您可以使用无限while循环来不断打印当前的鼠标坐标mouse.position()。至于退出程序的代码，您需要捕获KeyboardInterrupt异常，每当用户按下CTRL -C 时引发异常。如果你不处理这个异常，它会向用户显示一个丑陋的回溯和错误信息。将以下内容添加到您的程序中：

   ＃！python3＃mouseNow.py  - 显示鼠标光标的当前位置。进口pyautogui打印（'按Ctrl-C退出'。）尝试：while True：＃TODO：获取并打印鼠标坐标。
❶除了一个KeyboardInterrupt：
❷     打印（ '\ nDone'）

要处理该异常，请将无限while循环包含在try语句中。当用户按下CTRL -C时，程序执行将移至except子句❶并将Done.以新行❷打印。

while循环内的代码应该获得当前的鼠标坐标，将它们格式化为好看并打印出来。将以下代码添加到while循环的内部：

＃！python3
＃mouseNow.py  - 显示鼠标光标的当前位置。
进口pyautogui
打印（'按Ctrl-C退出'。）
- 剪切 -＃获取并打印鼠标坐标。x，y = pyautogui.position（）positionStr ='X：'+ str（x）.rjust（4）+'Y：'+ str（y）.rjust（4）
- snip -

使用多重分配技巧，将x和y变量给出了从元组返回两个整数的值pyautogui.position()。通过传递x和y对str()功能，你可以得到整数坐标的字符串形式。该rjust()字符串的方法将右对齐他们，让他们占用的空间相同的量，坐标是否有一个，两个，三个或四个数字。将右对齐的字符串坐标与标签连接起来'X: '，可以' Y: '为我们提供格式良好的字符串，该字符串将存储在中positionStr。

在程序结束时，添加以下代码：

   ＃！python3＃mouseNow.py  - 显示鼠标光标的当前位置。- snip -print（positionStr，end =''）
❶print          （'\ b'* len（positionStr），end =''，flush = True）

这实际上打印positionStr到屏幕上。的end=''关键字参数来print()阻止默认换行符被添加到印刷线的端部。可以擦除已经打印到屏幕上的文本 - 但仅限于最新的文本行。一旦你打印一个换行符，你就无法擦除它之前的任何东西。

要清除文字，请打印\b退格转义字符。该特殊字符会擦除屏幕上当前行末尾的字符。❶中的行使用字符串复制来生成一个字符串，其\b字符数与存储在positionStr其中的字符串的长度一样多，这会擦除positionStr上次打印的字符串。

由于技术原因超出了本书的范围，请务必传递flush=True给print()打印\b退格字符的调用。否则，屏幕可能不会根据需要更新文本。

由于while循环如此快速重复，用户实际上不会注意到您正在删除并重新打印屏幕上的整个号码。例如，如果x坐标是563，并且鼠标向右移动一个像素，则看起来只有563中的3变为4。

当你运行程序时，只会打印两行。他们应该看起来像这样：

按下Ctrl-C以退出。
X：290 Y：424

第一行显示按CTRL -C退出的指令。随着鼠标在屏幕上的移动，鼠标坐标的第二行会发生变化。使用这个程序，你将能够找出你的GUI自动化脚本的鼠标坐标。

控制鼠标交互

要发送虚拟鼠标点击到您的计算机，请调用该pyautogui.click()方法。默认情况下，该点击使用鼠标左键并在鼠标光标当前所在的位置进行。如果您希望它发生在鼠标当前位置以外的某个位置，您可以将点击的x坐标和y坐标作为可选的第一个和第二个参数传递。

如果要指定要使用的鼠标按键，包括button关键字参数，用的值'left'，'middle'或'right'。例如，pyautogui.click(100, 150, button='left')将在坐标（100,150）处单击鼠标左键，同时pyautogui.click(200, 250, button='right')将在（200,250）处右键单击。

在交互式shell中输入以下内容：

>>> import pyautogui
>>> pyautogui.click（10，5）

您应该看到鼠标指针移动到屏幕的左上角附近并单击一次。完整的“单击”被定义为按下鼠标按钮，然后释放它而不移动光标。您也可以通过调用来执行点击pyautogui.mouseDown()，只按下鼠标按钮，并且pyautogui.mouseUp()只释放按钮。这些函数具有与其相同的参数click()，实际上，click()函数只是围绕这两个函数调用的便捷包装。

作为进一步的方便，pyautogui.doubleClick()功能将执行两次点击用鼠标左键，而pyautogui.rightClick()和pyautogui.middleClick()功能将与右和中间的鼠标按钮执行的点击，分别。

拖动意味着在按住其中一个鼠标按钮的同时移动鼠标。例如，您可以通过拖动文件夹图标在文件夹之间移动文件，也可以在日历应用程序中移动约会。

PyAutoGUI提供pyautogui.dragTo()并pyautogui.dragRel()起到将鼠标光标拖动到一个新的位置或相对于当前一个的位置。为参数dragTo()和dragRel()是相同的moveTo()和moveRel()：x坐标/水平移动，y坐标/垂直运动，以及时的可选的持续时间。（当鼠标移动太快时，OS X不能正确拖动，因此duration建议传递关键字参数。）

要尝试这些功能，请打开一个图形绘制应用程序，例如Windows上的Paint，OS X上的Paintbrush或Linux上的GNU Paint。（如果您没有绘图应用程序，则可以使用http://sumopaint.com/上的在线应用程序。）我将使用PyAutoGUI绘制这些应用程序。

将鼠标光标放在绘图应用程序的画布上并选择“铅笔”或“画笔”工具，将以下内容输入到新的文件编辑器窗口中，并将其保存为spiralDraw.py：

   进口pyautogui，时间
❶time.sleep（5）
❷pyautogui.click（）＃点击放置绘图程序距离= 200距离> 0时：
❸pyautogui.dragRel（距离，0，持续时间= 0.2）＃向右移动
距离=距离 -  5
❺pyautogui.dragRel（0，distance，duration = 0.2）＃向下移动
❻pyautogui.dragRel（-distance，0，duration = 0.2）＃向左移动距离=距离 -  5pyautogui.dragRel（0，-distance，duration = 0.2）＃向上移动

当你运行这个程序时，会有五秒钟的延迟❶让你将鼠标光标移到绘图程序的窗口上，并选择铅笔或画笔工具。然后，spiralDraw.py将控制鼠标并单击以将绘图程序放在焦点上。当窗口有一个活动的闪烁光标时，窗口处于焦点状态，并且您进行的操作（如本例中拖动鼠标）将影响该窗口。一旦绘图程序处于焦点状态，spiralDraw.py将绘制一个方形螺旋图案，如图18-2所示。

图18-2。pyautogui.dragRel()示例的结果

的distance变量开始于200，所以在第一次迭代while循环中，第一dragRel()呼叫拖动光标200个像素的权利，以0.2秒❸。distance然后减小到195❹，第二次dragRel()调用将光标向下拖动195个像素。第三次dragRel()调用水平拖动光标-195（向左195），distance减少到190，最后一次dragRel()调用将光标向上拖动190像素。在每次迭代中，鼠标被向右，向下，向左和向上拖动，并且distance比前一次迭代时略小。通过循环此代码，您可以移动鼠标光标以绘制方形螺旋。

你可以手工绘制这个螺旋形（或者说，用鼠标），但是你必须慢慢地做到这么精确。PyAutoGUI可以在几秒钟内完成！

最终的PyAutoGUI鼠标函数是scroll()，你传递一个整数参数来表示你想向上或向下滚动鼠标的数量。每个操作系统和应用程序的单元大小都不相同，因此您必须尝试查看它在特定情况下滚动的距离。滚动发生在鼠标光标的当前位置。传递一个正整数向上滚动，并传递一个负整数向下滚动。当鼠标光标位于IDLE窗口上时，在IDLE的交互式shell中运行以下代码：

>>> pyautogui.scroll（200）

你会看到IDLE简单地向上滚动 - 然后再往下走。发生向下滚动是因为IDLE在执行指令后自动向下滚动到底部。改为输入此代码：

>>> import pyperclip
>>> numbers =''
>>> for i in range（200）：numbers = numbers + str（i）+'\ n'

>>> pyperclip.copy（数字）

这导入pyperclip并设置一个空字符串，numbers。然后代码循环200个数字，并将每个数字numbers与一个换行符一起添加。之后pyperclip.copy(numbers)，剪贴板将加载200行数字。打开一个新的文件编辑器窗口并将文本粘贴到其中。这会给你一个很大的文本窗口来尝试滚动。在交互式shell中输入以下代码：

>>> import time，pyautogui
>>> time.sleep （5）; pyautogui.scroll（100）

在第二行中，输入两个用分号分隔的命令，它告诉Python运行命令，就好像它们在单独的行上一样。唯一的区别是交互式shell不会提示您在两条指令之间输入。这个例子很重要，因为我们希望呼叫pyautogui.scroll()在等待后自动发生。（请注意，虽然在一行中放置两个命令在交互式shell中可能很有用，但仍然应该在程序中将每条指令放在单独一行中。）

按Enter键运行代码后，您将有五秒钟时间单击文件编辑器窗口将其置于焦点。一旦暂停结束，pyautogui.scroll()呼叫将导致文件编辑器窗口在五秒延迟后向上滚动。

使用屏幕

要在Python中截取屏幕截图，请调用该pyautogui.screenshot()函数。在交互式shell中输入以下内容：

>>> import pyautogui
>>> im = pyautogui.screenshot（）

该im变量将包含Image屏幕截图的对象。您现在可以像调用其他任何对象一样Image，在im变量中调用对象的方法Image。在交互式shell中输入以下内容：

>>> im.getpixel（（0，0））
（176,176,175）
>>> im.getpixel（（50,200））
（130,135,144）

传递getpixel()坐标元组，如（0，0）或（50,200），它会告诉你图像中坐标的像素颜色。来自的返回值getpixel()是三个整数的RGB元组，用于像素中红色，绿色和蓝色的量。（alpha没有第四个值，因为截图图像是完全不透明的。）这就是您的程序如何“看到”屏幕上的内容。

假设你的GUI自动化程序的其中一个步骤是点击一个灰色按钮。在调用该click()方法之前，您可以截取屏幕截图并查看脚本即将点击的像素。如果它不像灰色按钮那样灰色，那么你的程序知道某些东西是错误的。也许窗口意外移动，或者弹出对话框阻止了按钮。在这一点上，不是继续 - 而是可能通过点击错误的东西而造成破坏 - 你的程序可以“看到”它没有点击正确的事物并停止自己。

如果屏幕上给定x坐标和y坐标的像素与给定颜色相匹配，则PyAutoGUI的pixelMatchesColor()函数将返回True。第一个和第二个参数是x坐标和y坐标的整数，第三个参数是屏幕像素必须匹配的RGB颜色的三个整数元组。在交互式shell中输入以下内容：

   >>> import pyautogui >>> im = pyautogui.screenshot（）
>>> im.getpixel（（50，200））（130,135,144）p
>>> pyautogui.pixelMatchesColor（50,200，（130,135,144））真正
>>> pyautogui.pixelMatchesColor（50，200，（255，135，144）） False

在截取屏幕并使用getpixel()获取特定坐标pixel处像素颜色的RGB元组后，将相同坐标和RGB元组传递给pixelMatchesColor()❷，该元组应返回True。然后更改RGB元组中的值并pixelMatchesColor()再次调用相同的坐标❸。这应该返回false。只要您的GUI自动化程序即将调用，此方法可用于调用click()。请注意，给定坐标的颜色必须完全匹配。如果它甚至略有不同 - 例如，(255, 255, 254)而不是(255, 255, 255)- 然后pixelMatchesColor()将返回False。

项目：扩展mouseNow程序

图像识别

控制键盘

该pyautogui.typewrite()功能将虚拟按键发送到计算机。这些按键的功能取决于窗口和文本字段的重点。您可能需要先将鼠标单击到所需的文本字段以确保其具有焦点。

作为一个简单的例子，我们使用Python来自动输入单词Hello world！进入文件编辑器窗口。首先，打开一个新的文件编辑器窗口并将其放置在屏幕的左上角，这样PyAutoGUI将在正确的位置点击以将其聚焦。接下来，在交互式shell中输入以下内容：

>>> pyautogui.click（100，100）; pyautogui.typewrite（'Hello world！'）

请注意，如何将两条命令放在同一行上，并用分号分隔，这会使交互式shell不会提示您在运行两条指令之间进行输入。这可以防止您意外地将一个新窗口放在焦点click()和typewrite()调用之间，这会弄乱该示例。

Python将首先发送一个虚拟鼠标点击到坐标（100,100），这应该单击文件编辑器窗口并将其放在焦点上。该typewrite()呼叫将发送的文字世界，你好！到窗口，使其看起来像图18-3。你现在有可以为你输入的代码！

图18-3。使用PyAutogGUI单击文件编辑器窗口并输入Hello world！进去

默认情况下，该typewrite()函数将立即键入完整的字符串。但是，您可以传递可选的第二个参数以在每个字符之间添加短暂停顿。第二个参数是要暂停的秒数的整数或浮点值。例如，pyautogui.typewrite('Hello world!', 0.25)在输入H之后等待四分之一秒，在e之后等四分之一秒。这种渐进的打字机效果可能对于速度较慢的应用程序非常有用，因为这些应用程序无法快速处理键击以跟上PyAutoGUI。

对于A或！等字符 ，PyAutoGUI也会自动模拟按住SHIFT键。

并非所有的键都可以用单个文本字符来表示。例如，如何将SHIFT或左箭头键表示为单个字符？在PyAutoGUI，这些键盘键由短字符串值代替表示：'esc'对于ESC键或'enter'为ENTER键。

而不是单个字符串参数，可以传递这些键盘键字符串的列表typewrite()。例如，下面的调用按A键，B键，然后左箭头键两次，最后是X和Y键：

>>> pyautogui.typewrite（['a'，'b'，'left'，'left'，'X'，'Y']）

由于按下左箭头键移动键盘光标，这将输出XYab。表18-1列出了可以传递typewrite()给模拟按键的任意组合的PyAutoGUI键盘键字符串。

您还可以查看pyautogui.KEYBOARD_KEYS列表以查看PyAutoGUI将接受的所有可能的键盘键字符串。该'shift'字符串引用左侧的SHIFT键并等同于'shiftleft'。这同样适用于'ctrl'，'alt'和'win'字符串; 他们都参考左侧的键。

很像mouseDown()和mouseUp()功能，pyautogui.keyDown()以及pyautogui.keyUp()将虚拟按键并释放发送到计算机。他们传递一个键盘键字符串（参见表18-1）以获取它们的参数。为方便起见，PyAutoGUI提供了pyautogui.press()调用这两个函数来模拟完整按键的功能。

运行下面的代码，它将键入一个美元符号字符（通过按住SHIFT键并按下4来获得）：

>>> pyautogui.keyDown（'shift'）; pyautogui.press（ '4'）; pyautogui.keyUp（ '转向'）

该行按下SHIFT，按下（并释放）4，然后释放SHIFT。如果您需要在文本字段中输入字符串，则该typewrite()函数更适合。但对于采用单键命令的应用程序，该press()功能是更简单的方法。

甲热键或快捷方式是按键的组合，以调用某种应用功能。复制选择的常用快捷键是CTRL -C（在Windows和Linux上）或⌘-C（在OS X上）。用户按住CTRL键，然后按下C键，然后释放C和CTRL键。要使用PyAutoGUI keyDown()和keyUp()函数完成此操作，您必须输入以下内容：

pyautogui.keyDown（Ctrl键）
pyautogui.keyDown（ 'C'）
pyautogui.keyUp（ 'C'）
pyautogui.keyUp（Ctrl键）

这很复杂。相反，使用该pyautogui.hotkey()函数需要多个键盘键字符串参数，按顺序按下它们，然后以相反的顺序释放它们。对于CTRL- C示例，代码将如下所示：

pyautogui.hotkey（'ctrl'，'c'）

此功能对于较大的热键组合特别有用。在Word中，CTRL - ALT - SHIFT -S热键组合显示样式窗格。而不是做八个不同的函数调用（四个keyDown()调用和四个keyUp()调用），您可以调用hotkey('ctrl', 'alt', 'shift', 's')。

使用屏幕左上角的新IDLE文件编辑器窗口，在交互式shell中输入以下内容（在OS X中，替换'alt'为'ctrl'）：

   >>> 进口pyautogui，时间 >>> DEF commentAfterDelay（）：
❶        pyautogui.click（100，100）
❷        pyautogui.typewrite（ '在IDLE，Alt键-3注释出的线'）time.sleep（2）
❸        pyautogui.hotkey（'alt'，'3'）
>>> commentAfterDelay（）

这个函数定义了一个函数commentAfterDelay()，当它被调用的时候，它会点击文件编辑器窗口使其进入焦点type，键入In IDLE，Atl-3注释掉一行 ❷，暂停2秒，然后模拟按下ALT -3热键或OS X上的CTRL -3）❸。此键盘快捷键将两个＃字符添加到当前行，并将其注释掉。（在IDLE中编写自己的代码时，这是一个很有用的技巧。）

审查PyAutoGUI函数

• moveTo(x, y)。移动鼠标光标移动到指定的x和y坐标。

• moveRel(xOffset, yOffset)。相对于当前位置移动鼠标光标。

• dragTo(x, y)。按住左键时移动鼠标光标。

• dragRel(xOffset, yOffset)。在按住左键的同时相对于当前位置移动鼠标光标。

• click(x, y, button)。模拟点击（默认为左键）。

• rightClick()。模拟右键单击。

• middleClick()。模拟中间按钮点击。

• doubleClick()。模拟双击左键单击。

• mouseDown(x, y, button)。模拟按下位置上的给定按钮x，y。

• mouseUp(x, y, button)。模拟释放给定按钮的位置x，y。

• scroll(units)。模拟滚轮。积极的论据卷起来; 一个负面的观点向下滚动。

• typewrite(message)。键入给定消息字符串中的字符。

• typewrite([key1, key2, key3])。键入给定的键盘键字符串。

• press(key)。按下给定的键盘键字符串。

• keyDown(key)。模拟按下给定的键盘按键。

• keyUp(key)。模拟释放给定的键盘键。

• hotkey([key1, key2, key3])。模拟按顺序按下给定的键盘键串，然后按相反的顺序释放它们。

• screenshot()。作为Image对象返回截图。（有关对象的信息，请参阅第17章Image。）

项目：自动填表

图18-4。此项目使用的表单

• 单击表单的第一个文本字段。

• 浏览表单，在每个字段中输入信息。

• 点击提交按钮。

• 用下一组数据重复该过程。

• 打电话pyautogui.click()点击表格并提交按钮。

• 打电话pyautogui.typewrite()给字段输入文字。

• 处理KeyboardInterrupt异常，以便用户可以按CTRL -C退出。

在编写代码之前，您需要确定填写表单一次的确切键击和鼠标单击。Project中的mouseNow.py脚本：“现在鼠标在哪里？”可以帮助您找出特定的鼠标坐标。您只需要知道第一个文本字段的坐标。点击第一个字段后，您可以按Tab键将焦点移至下一个字段。这将使您不必为每个字段找出点击的x和y坐标。

以下是将数据输入表单的步骤：

请注意，如果稍后再次运行此程序，则可能必须更新鼠标单击坐标，因为浏览器窗口可能已更改位置。要解决这个问题，在查找第一个表单域的坐标之前，一定要确保浏览器窗口已经最大化。此外，不同操作系统上的不同浏览器可能与此处给出的步骤略有不同，因此请在运行程序之前检查这些按键组合是否适用于您的计算机。

在浏览器中加载您下载的示例窗体（图18-4）并最大化您的浏览器窗口。打开一个新的终端或命令行窗口来运行mouseNow.py脚本，然后将鼠标悬停在名称字段上找出其x和y坐标。这些数字将被分配给nameField您的程序中的变量。此外，找出蓝色提交按钮的x和y坐标以及RGB元组值。这些值将分别分配给submitButton和submitButtonColor变量。

接下来，为表单填写一些虚拟数据，然后点击提交。您需要查看下一页的外观，以便您可以使用mouseNow.py查找在此新页面上提交另一个响应链接的坐标。

使源代码如下所示，确保将您所测试的坐标替换为斜体中的所有值：

＃！python3
＃formFiller.py  - 自动填写表单。

进口pyautogui，时间

＃将这些设置为您计算机的正确坐标。
名称字段=（648，319）
提交按钮=（651，817）
submitButtonColor =（75，141，249）
submitAnotherLink =（760，224）

＃TODO：给用户一个杀死脚本的机会。

＃TODO：等待表单页面加载完毕。

＃TODO：填写姓名字段。

＃TODO：填写最伟大的恐惧领域。

＃TODO：填写向导权力来源字段。

＃TODO：填写Robocop字段。

＃TODO：填写额外评论字段。

＃TODO：点击提交。

＃TODO：等到表单页面加载完毕。

＃TODO：点击提交另一个回复链接。

现在您需要实际想要输入此表单的数据。在现实世界中，这些数据可能来自电子表格，纯文本文件或网站，并且需要额外的代码才能加载到程序中。但是对于这个项目，您只需将所有这些数据硬编码到一个变量中。将以下内容添加到您的程序中：

＃！python3
＃formFiller.py  - 自动填写表单。

- 剪裁 -服务于公众的信任。维护法律。'}，]

- 剪裁 -

该formData列表包含四个不同名称的字典。每个字典都有文本字段的名称作为键和响应作为值。设置的最后一步是设置PyAutoGUI的PAUSE变量在每次函数调用后等待半秒。在formData赋值语句之后将以下内容添加到您的程序中：

pyautogui.PAUSE = 0.5

一个for循环将迭代formData列表中的每个字典，将字典中的值传递给将在文本字段中虚拟键入的PyAutoGUI函数。

将以下代码添加到您的程序中：

   ＃！python3＃formFiller.py  - 自动填写表单。
- 剪裁 -对于formData中的人员：＃给用户一个杀死脚本的机会。print（'>>> 5 SECOND PAUSE让用户按CTRL-C <<<'）
❶time.sleep     （5）＃等到表单页面加载完毕。
❷     同时不pyautogui.pixelMatchesColor（提交按钮[0]，提交按钮[1]，submitButtonColor）：time.sleep（0.5）
- 剪裁 -

作为一项小型安全功能，该脚本有五秒暂停❶，让用户有机会按CTRL -C（或将鼠标光标移动到屏幕的左上角以引发FailSafeException异常）以关闭程序以防万一它出乎意料。然后程序会等待提交按钮的颜色可见，让程序知道表单页面已经加载。请记住，你已经明白了坐标和颜色信息，并将其存储在变量submitButton和submitButtonColor变量中。要使用pixelMatchesColor()，请传递坐标submitButton[0]和submitButton[1]颜色submitButtonColor。

等待“提交”按钮的颜色可见之后，添加以下代码：

   ＃！python3＃formFiller.py  - 自动填写表单。
- 剪裁 -

❶      打印（ '输入％s，信息...' ％（人[ '姓名']））
❷      pyautogui.click（名称字段[0]，名称字段[1]）＃填写姓名字段。
❸      pyautogui.typewrite（人[ '名称'] + '\ T'）＃填写最伟大的恐惧（s）领域。
❹      pyautogui.typewrite（人[ '恐惧'] + '\ T'）
- 剪裁 -

我们添加一个偶尔的print()调用来在终端窗口中显示程序的状态，让用户知道发生了什么事情。

由于程序知道表单已加载，因此可以调用click()以单击名称字段❷并typewrite()在person['name']❸中输入字符串。该'\t'字符被添加到传递给的字符串的末尾typewrite()以模拟按TAB，这将键盘焦点移动到下一个字段，最大的恐惧（s）。另一个呼叫typewrite()将在person['fear']此字段中输入字符串，然后选择表单中的下一个字段。

“向导强大”问题的下拉菜单和Robocop字段的单选按钮比文本字段更难处理。要用鼠标点击这些选项，您必须找出每个可能选项的x和y坐标。使用键盘上的箭头键更容易进行选择。

将以下内容添加到您的程序中：

   ＃！python3＃formFiller.py  - 自动填写表单。
- 剪裁 -＃填写向导权力来源字段。
❶     如果人[ '源'] == '棒'：
❷          pyautogui.typewrite（[ '向下'， '\吨']）的elif人[ '源'] == '护身符'：pyautogui.typewrite（['向下''''''））elif person ['source'] =='水晶球'：pyautogui.typewrite（['down'，'down'，'down'，'\ t']）elif person ['source'] =='money'：pyautogui.typewrite（['down'，'down'，'down'，'down'，'\ t']）＃填写Robocop字段。
❸     如果人[ '机械战警'] == 1：
❹          pyautogui.typewrite（[” ' '\吨']）的elif人[ '机械战警'] == 2：pyautogui.typewrite（[ '右'，' \吨']）elif person ['robocop'] == 3：pyautogui.typewrite（['right'，'right'，'\ t']）elif person ['robocop'] == 4：pyautogui.typewrite（[''右'，'右'，'右'，'\ t']）elif person ['robocop'] == 5：pyautogui.typewrite（['right'，'right'，'right'，'right'，' \吨']）
- 剪裁 -

一旦下拉菜单具有焦点（请记住，在填写最大恐惧字段后，您编写了模拟按Tab的代码），按向下箭头键将移至选择列表中的下一个项目。根据中的值person['source']，您的程序应该在切换到下一个字段之前发送多个向下箭头按键。如果该值'source'在该用户的字典关键是'wand'❶，我们模拟按下箭头键一次（选择棒），然后按TAB ❷。如果'source'键的值是'amulet'，我们模拟两次按向下箭头键并按TAB，等等其他可能的答案。

Robocop问题的单选按钮可以用右箭头键选择 - 或者，如果您想选择第一个选项❸，只需按空格键❹即可。

您可以typewrite()通过person['comments']作为参数传递来填充附加注释字段。您可以键入附加内容'\t'将键盘焦点移至下一个字段或提交按钮。一旦提交按钮处于焦点状态，调用pyautogui.press('enter')将模拟按ENTER键并提交表单。提交表单后，您的程序将等待五秒钟以加载下一页。

一旦新页面加载完成，它将会有一个提交另一个响应链接，它将引导浏览器到一个新的空表单页面。您submitAnotherLink在步骤2 中将此链接的坐标作为元组存储，因此请传递这些坐标pyautogui.click()以单击此链接。

随着新表单准备就绪，脚本的外部for循环可以继续进行下一次迭代，并将下一个人的信息输入到表单中。

通过添加以下代码来完成您的程序：

＃！python3
＃formFiller.py  - 自动填写表单。

- 剪裁 -＃填写额外的评论字段。pyautogui.typewrite（person ['comments'] +'\ t'）＃点击提交。pyautogui.press（ '输入'）＃等到表单页面加载完毕。打印（'点击提交'）time.sleep（5）＃点击提交另一个回复链接。pyautogui.click（submitAnotherLink [0]，submitAnotherLink [1]）

主for循环完成后，程序将插入每个人的信息。在这个例子中，只有四个人进入。但是如果你有4000人，那么编写一个程序来做到这一点会节省你很多时间和打字！

概要

实践问题

实践项目

许多即时消息程序通过在一段时间内检测到鼠标移动不足（例如，十分钟）来确定您是闲置还是远离计算机。也许你想暂时离开办公桌一段时间，但不希望别人看到你的即时通讯状态进入闲置模式。写一个脚本，每10秒轻轻推动一下鼠标光标。微调应该足够小，以免在脚本运行时碰巧需要使用计算机时妨碍它。

Google Talk，Skype，Yahoo Messenger，AIM和其他即时消息应用程序通常使用专有协议，这使得其他人难以编写可与这些程序进行交互的Python模块。但即使这些专有协议也无法阻止您编写GUI自动化工具。

Google Talk应用程序有一个搜索栏，可让您在好友列表中输入用户名，并在按ENTER时打开消息窗口。键盘焦点自动移动到新窗口。其他即时消息应用程序有类似的方式来打开新的消息窗口。编写一个程序，该程序会自动发送通知消息给您的朋友列表中的一组人员。您的程序可能需要处理特殊情况，例如朋友处于离线状态，聊天窗口出现在屏幕上的不同坐标处，或确认信箱中断您的消息。您的程序将不得不采取屏幕截图来指导其GUI交互，并采用检测虚拟键击未被发送的方式。

有一篇很棒的教程，标题为“如何构建可以玩网络游戏的Python Bot”，可以在http://nostarch.com/automatestuff/找到。本教程介绍了如何使用Python创建一个名为Sushi Go Round的Flash游戏的GUI自动化程序。游戏涉及点击正确的成分按钮来填补顾客的寿司订单。您填写订单的速度越快，没有错误，您获得的积分就越多。对于GUI自动化程序来说，这是一个非常适合的任务 - 并且是一种欺骗得分最高的方法！本教程涵盖了本章涵盖的许多相同主题，还包括PyAutoGUI基本图像识别功能的说明。