使用Python+OpenCV实现打乒乓球游戏
CodeBullet是我最喜欢的YouTuber之一,他曾经尝试创建一个人机对战的乒乓球游戏,但遗憾的是,对于他的成果没有对计算机视觉有太大影响。他是个很幽默及技术很强的人,如果你考虑阅读这篇文章的其余部分,我强烈建议你观看他的视频。
https://www.youtube.com/watch?v=tcymhYbRvw8&
人机对战的乒乓球游戏似乎是一个非常有趣且简单的任务,所以我也想尝试一下。在这篇文章中,我将概述一些我对该项目研究过的一些因素,如果你希望在任何类似的项目上工作,这些因素可能会有所帮助。
使用计算机视觉的好处在于我可以使用已经构建的游戏来处理图像。话虽如此,我们将使用在ponggame.org上且CodeBullet相同的游戏版本。它具有2人模式,因此我可以与自己的AI对抗;我做到了,这确实很难……
https://www.ponggame.org/
捕捉屏幕
第一件事就是捕捉屏幕。我想确保我的帧速率尽可能快,为此我发现MSS是一个很棒的python包。有了它,我很容易就达到60帧/秒的最高速度,如果使用PIL,则我只能得到大约20帧每秒的速度。
MSS:https://pypi.org/project/mss/
Paddle detection
为了简单起见,我们需要定义paddle的位置。我们可以使用几种不同的方法来完成,但我认为最简单的方法是对每个Paddle的区域进行遮罩,然后运行连接的组件来找到Paddle对象。下面是一段代码:
def get_objects_in_masked_region(img, vertices, connectivity = 8): ''':return connected components with stats in masked region [0] retval number of total labels 0 is background [1] labels image [2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area [3] centroids ''' mask = np.zeros_like(img) # fill the mask cv2.fillPoly(mask, [vertices], 255) # now only show the area that is the mask mask = cv2.bitwise_and(img, mask) conn = cv2.connectedComponentsWithStats(mask, connectivity, cv2.CV_16U) return conn
在上面,“vertices”只是定义遮罩区域的坐标列表,一旦在每个区域内有了对象,我就可以得到它们的质心位置或边界框,但需要注意的一点是OpenCV将背景作为任何连接的组件列表中的第0个对象,因此在本例中,我总是获取第二大的对象,结果如下——右边绿色质心的球拍是玩家的。
移动paddle
现在我们有了输出,我们还需要一个输入,为此我求助于一个有用的包和其他人的代码(http://stackoverflow.com/questions/14489013/simulate-python-keypresses-for-controlling-a-game) 。
它使用ctypes来模拟键盘按下,在这种情况下,游戏是用“k”和“m”键来玩的。我这里有扫描码(http://www.gamespp.com/directx/directInputKeyboardScanCodes.html)。在测试了它只是随机上下移动后,我们就可以开始跟踪了。
乒乓球检测
下一步是识别并跟踪乒乓球,同样,这也可以用几种方法来处理——其中一种方法是通过使用模板进行对象检测,但是我再次使用了连接的组件和对象属性来完成检测,即乒乓球的区域,因为它是唯一具有尺寸的对象。
我知道每当乒乓球穿过或碰到其他白色物体时,我都会遇到误检问题,但我也同样认为只要我能在大多数时间里追踪到它,那么这一切都没问题,毕竟它是直线运动的。如果你看下面的视频,你会看到标记乒乓球的红色圆圈是如何闪烁的,导致这种闪烁的原因是因为它只在每2帧中检测一次。
反弹预测的光线投射
到这一步,我们已经有了一个可工作的人工智能。如果我们只是移动球员的球拍,使其处于与乒乓球相同的y轴位置,它的效果是相当不错的,然而当乒乓球得到良好的反弹时,因为球拍太慢了,会遇到跟不上的问题。所以我们需要预测乒乓球的位置,而不是仅仅移动到当前的位置。下面是两种方法的比较。
差别并不大,但如果选择了正确的人工智能,这绝对是一场更稳定的胜利。首先我为乒乓球创建了一个位置列表,为了公平起见,我把这个列表的长度控制在5个,因为列表太长的话,需要花费更长的时间才能发现它改变了方向;在得到位置列表后,我使用简单的矢量平均法来平滑并得到方向矢量——如绿色箭头所示;然后吧它标准化成一个单位向量,乘以一个长度以方便可视化。
投射光线只是这个的延伸——使前向投影变长。之后我检查了未来的位置是否在顶部和底部区域的边界之外,如果是这样的话,它只是将位置投影回游戏区域了;对于左侧和右侧,它计算出与paddle的x位置相交的位置,并将x和y位置固定到该点,这样可以确保paddle指向正确的位置。如果没有这一点,它通常会走得太远。下面是定义光线的代码,该光线可以预测乒乓球的未来位置:
def pong_ray(pong_pos, dir_vec, l_paddle, r_paddle, boundaries, steps = 250): future_pts_list = [] for i in range(steps): x_tmp = int(i * dir_vect[0] + pong_pos[0]) y_tmp = int(i * dir_vect[1] + pong_pos[1])if y_tmp > boundaries[3]: #bottom y_end = int(2*boundaries[3] - y_tmp) x_end = x_tmpelif y_tmp < boundaries[2]: #top y_end = int(-1*y_tmp) x_end = x_tmp else: y_end = y_tmp##stop where paddle can reach if x_tmp > r_paddle[0]: #right x_end = int(boundaries[1]) y_end = int(pong_pos[1] + ((boundaries[1] - pong_pos[0])/dir_vec[0])*dir_vec[1])elif x_tmp < boundaries[0]: #left x_end = int(boundaries[0]) y_end = int(pong_pos[1] + ((boundaries[0] - pong_pos[0]) / dir_vec[0]) * dir_vec[1])else: x_end = x_tmpend_pos = (x_end, y_end) future_pts_list.append(end_pos)return future_pts_list
在上文中,还没说明确定paddle对目标的左或右位置的截距的计算方法,该计算过程我们基本上是通过相似三角形来实现的,图片和方程如下所示。我们计算在边界中给定的paddle的x位置截距之后,我们就可以计算出乒乓球将移动多远了,并将其添加到当前的y位置。
paddle虽然看起来是笔直的,但实际上有一个弯曲的反弹面,也就是说,如果你用球拍向两端击球,球会反弹,就像球拍有角度一样,因此我允许球拍击中边缘,这增加了人工智能的攻击性,使乒乓球四处飞舞。
结论
尽管我的实现方法是为这种特定的乒乓球有限实现而设计的,但相同的概念和代码也可以用于其它问题中——只需要改变一些预处理步骤。我们也可以使用另一种方法来实现该项目,即通过强化学习或简单的conv-net等方法,但我比较喜欢这种经典方法。因为使用经典的方法,我不需要健壮的通用性或困难的图像处理步骤。正如我提到的,本版本的乒乓球是2人对战模式的,在游戏过程中我无法打败我自己的AI…
你可以在我的github上找到源代码。
https://github.com/robintwhite
参考链接:https://towardsdatascience.com/computer-vision-and-the-ultimate-pong-ai-e6d70153fc45
留言送书福利
感谢大家的走心留言,每一条小编都认真阅读了,会继续努力哒,也会继续找优质的资源提供给大家。
恭喜下面留言的3位读者,获赠书籍《《深度学习之人脸图像处理》》。请联系小编:mthler。
☆ END ☆
如果看到这里,说明你喜欢这篇文章,请转发、点赞。微信搜索「uncle_pn」,欢迎添加小编微信「 mthler」,每日朋友圈更新一篇高质量博文。
↓扫描二维码添加小编↓
使用Python+OpenCV实现打乒乓球游戏相关推荐
- Python之深入解析如何使用Python Kivy实现一个“乒乓球”游戏
一.前言 本文是基于 Kivy 开源跨平台的 Python 框架上创作的,Kivy 开源跨平台的 Python 框架能用于开发多点触控的用户界面程序,允许快速简单的交互设计,非常方便. 那么,如何使用 ...
- python画羊_『Python Kivy』官方乒乓球游戏示例解析
本篇文章用于对Kivy框架官方所给出的一个「乒乓球」小游戏的源码进行简单地解析.我会尽可能的将方方面面的内容都说清楚.在文章的最下方为官方所给出的这个小游戏的教程以及游戏源码. 由于篇幅所限,本文只简 ...
- python—openCV实时追踪乒乓球
""" 张耀 2021年08月20日 """ import cv2 import numpy as npcap = cv2.VideoCap ...
- python+opencv别踩白块儿游戏辅助,一天一个opencv小项目(已开源)
python+opencv别踩白块儿游戏辅助,一天一个opencv小项目(已开源) 见链接
- 用Python写一个乒乓球游戏!太简单了!
好久没有写游戏系列教程了,今天恰好浏览到了 Kivy 这个开源跨平台的Python 框架,它能用于开发多点触控的用户界面程序,允许快速简单的交互设计,非常方便,于是有了制作本教程的想法. 本教程将教你 ...
- 体感游戏 | 手势识别玩飞机大战游戏(二) Python+OpenCV实现简易手势识别功能
后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能,它们分别是: 使用Pygame实现简易飞机大战小游戏 使用Python+OpenCV实现简单手势识别 使用OpenCV实现手势识别玩飞机大战游 ...
- Python+OpenCV实现自动扫雷,挑战扫雷世界记录!
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转载自知乎Artrix https://zhuanlan.zh ...
- Python+OpenCV实现自动扫雷,创造属于自己的世界记录!
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 本文转载自知乎Artrix https://zhuanlan.zh ...
- 重磅升级,52个Python+OpenCV实战项目教你掌握图像处理
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 近期小白学视觉公众号推出了多篇Python+OpenCV实战项目的 ...
最新文章
- string修饰的梦修改吗_Java String 对象,你真的了解了吗?
- AI+时代,谈谈产品经理对图像识别技术的阈值控制
- Android中的5种数据存储方式
- getter与setter
- MySQL 集群 3副本,Kubernetes经典实践——运行MySQL多副本集群
- NodeJS服务器退出:完成任务,优雅退出
- linux strace调试用法
- 打开微信备份文件db_安卓手机微信数据导出方法-adb备份(无需root) - Fenlog软件...
- HDU 1880魔咒词典
- undefined运算
- android widget的中文文档
- Git:rebase 是什么
- 人生就是游戏,你如何遵守游戏规则?
- 135编辑器嵌入html,135编辑器教程|三步教你搞定表格样式
- 使用决策树算法预测西瓜的好坏
- Mac OS制作Windows10启动盘
- 体验过智慧家居后,我再也不想回家了……
- BZOJ 1064 假面舞会
- 微信小程序开发:自定义组件-behaviors
- Kong的插件: session
热门文章
- 20年后,全球每米海岸线将有50公斤塑料垃圾流入海洋
- 知网HTML阅读复制不了,复制不了网页内容解决方法【图文】
- Android 触摸事件传递机制
- 那一年的北风--序言3
- python3从零学习-5.4.5、文件及目录的比较模块filecmp
- 计算机一级教程文档ppt,计算机一级word操作教程.ppt
- 提示:您在 /var/cache/apt/archives/ 上没有足够的可用空间,已解决
- 读书笔记02-《术与道》上
- wikioi 1069 关押罪犯
- 牛客挑战赛34 A.能天使的愿望(分组背包)