一次不成功的深度学习实践 - 微信跳一跳
最近微信的跳一跳小程序火了一把,所以前天也更新了微信玩了几盘,最多手动到200左右就不行了。
后来准备用代码写个辅助工具,上Github一查,已经有人做出来了,17年12月29号的项目,不到5天差不多5K的stars,以后还会更多,简直可怕。
github.com/wangshub/we…
具体思路都差不多:
- 用adb调试手机,获取截图;
- 从截图中识别棋子和目标块的中心点位置;
- 根据距离计算长按时间,系数和屏幕分辨率相关;
- 用adb模拟长按,完成跳跃。
唉,多么可惜,错过了一个好项目。
既然别人已经实现了,那就尝试点不一样的,用 深度学习 解决一下。
基本思路
基本流程类似,唯一的区别在于如何获取棋子和目标块的中心位置。
假如长按时间只取决于棋子和目标块的水平位置,那么只需要知道它们水平方向上的坐标即可。
可以看作一个 物体检测 问题,检测出截图中的棋子等物体,这里假设共包含七类物体:
- 棋子:chess
- 彩蛋块:包括污水 waste、魔方 magic、商店 shop、音乐盒 music
- 普通块:包括矩形块 rect、圆形块 circle
模型实现
我手动标注了500张截图,基于ssd_mobilenet_v1_coco
模型和TensorFlow
物体检测API,训练好的模型跑起来是这么个结果。
可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来,每个检测结果包括三部分内容:
- 物体位置,用矩形标注,对应四元组 ymin、xmin、ymax、xmax;
- 物体类别,为以上七类中的一种;
- 检测置信度,越高说明模型对检测结果越有把握。
这不仅仅是简单的规则检测,而是 真正看到了截图中共有哪几个物体,以及每个物体分别是什么。
所以接下来,就只需从检测结果中取出棋子的位置,以及最上面一个非棋子物体,即目标块的位置。
有了物体的边界轮廓,取中点即可得到棋子和目标块的水平坐标,这里进行了归一化,即屏幕宽度为1,距离在0至1之间。然后将距离乘以一个系数,作为长按时间并模拟执行即可。
运行结果
看起来很不错,实际跑分结果如何呢?
大概只能达到几百分,问题出在哪?
主要是标注数据太少,模型训练得不够充分,所以检测结果不够准确,有时候检测不出棋子和目标块,而一旦出现这类问题,分数必然就断了。
尝试了以下方法,将一张截图朝不同的方向平移,从而得到九张截图,希望提高检测结果的召回率,但仍然有检测不出来的情况,也许只有靠更多的标注数据才能解决这一问题。
规则检测
模型训练了20W轮,依旧存在检测不出来的情况,郁闷得很,干脆也写一个基于规则的 简单版代码 好了。
花了不到20分钟写完代码,用OpenCV
提取边缘,然后检测棋子和目标块的水平中心位置,结果看起来像这样。
事实证明,最后跑出来的分数,比之前的模型要高多了……
说好的深度学习呢?
总结
面对以下情况时,基于人工经验定义规则,比用深度学习训练模型要省力、有效很多:
- 问题本身比较简单,不需要复杂的抽象;
- 标注数据比较有限,难以充分训练模型;
- 错误惩罚很高,对错误不能容忍。即便模型在99%的情况下能完美运行,1%的错误立马让游戏直接结束了,此时反而不如hard code的规则靠谱。
当然,如果大家能一起努力,多弄些标注数据出来,说不定还有些希望。
代码在Github上:github.com/Honlan/wech…
不说了,我继续刷分去了,用后面写的不到一百行的代码……
本文作者:张宏伦
原文地址:一次不成功的深度学习实践-微信跳一跳-教程-小程序社区-微信小程序-微信小程序开发社区-小程序开发论坛-微信小程序联盟
一次不成功的深度学习实践 - 微信跳一跳相关推荐
- 关于微信跳一跳辅助脚本的代码学习
关于微信跳一跳辅助脚本的代码学习 最近微信跳一跳相当火热,当然油然而生的就是外挂了,所以抽空学习了下外挂的一些思路. 首先从目录结果来看 - Tools 实际上是windows需要用到的一些工具 同时 ...
- CVer入门必备:计算机视觉的深度学习实践
<计算机视觉的深度学习实践> 原价 ¥ 899.00 现超 300人报名 已至底价 ¥ 399.00 >> 点击文末阅读原文参团 << 参团 ...
- 深度学习实践:计算机视觉_深度学习与传统计算机视觉技术:您应该选择哪个?
深度学习实践:计算机视觉 计算机视觉 (Computer Vision) Deep Learning(DL) is undeniably one of the most popular tools u ...
- PyTorch深度学习实践
根据学习情况随时更新. 2020.08.14更新完成. 参考课程-刘二大人<PyTorch深度学习实践> 文章目录 (一)课程概述 (二)线性模型 (三)梯度下降算法 (四)反向传播 (五 ...
- 实用卷积神经网络 运用python pdf_解析卷积神经网络—深度学习实践手册 中文pdf高清版...
解析卷积神经网络-深度学习实践手册从实用角度着重解析了深度学习中的一类神经网络模型--卷积神经网络,向读者剖析了卷积神经网络的基本部件与工作机理,更重要的是系统性的介绍了深度卷积神经网络在实践应用方面 ...
- 【PyTorch】深度学习实践之CNN高级篇——实现复杂网络
本文目录 1. 串行的网络结构 2. GoogLeNet 2.1 结构分析 2.2 代码实现 2.3 结果 3. ResNet 3.1 网络分析 3.2 代码实现 3.3 结果 课后练习1:阅读并实现 ...
- 【Pytorch深度学习实践】B站up刘二大人之SoftmaxClassifier-代码理解与实现(8/9)
这是刘二大人系列课程笔记的倒数第二个博客了,介绍的是多分类器的原理和代码实现,下一个笔记就是basicCNN和advancedCNN了: 写在前面: 这节课的内容,主要是两个部分的修改: 一是数据集: ...
- 【Pytorch深度学习实践】B站up刘二大人课程笔记——目录与索引(已完结)
从有代码的课程开始讨论 [Pytorch深度学习实践]B站up刘二大人之LinearModel -代码理解与实现(1/9) [Pytorch深度学习实践]B站up刘二大人之 Gradient Desc ...
- 《PyTorch 深度学习实践》第10讲 卷积神经网络(基础篇)
文章目录 1 卷积层 1.1 torch.nn.Conv2d相关参数 1.2 填充:padding 1.3 步长:stride 2 最大池化层 3 手写数字识别 该专栏内容为对该视频的学习记录:[&l ...
最新文章
- 廖雪峰js教程笔记9 json
- 音视频技术开发周刊(第127期)
- matlab胡良剑第五章,MATLAB习题参考答案(胡良剑,孙晓君)
- [object detection] TypeError: can't pickle dict_values objects
- iOS开发-自动隐藏键盘及状态栏
- matlab简单程序实例视频,matlab编程实例100例.docx
- 《程序员代码面试指南》第一章 栈和队列 设计一个有getMin功能的栈
- c语言冒泡排序_图文解析:如何用PLC梯形图实现冒泡排序算法?
- 实验方法怎么写_小学作文怎么写?“把短句变长句”等3种方法帮孩子提高作文水平!...
- jsoup教程_2 http-client 讲解
- 单片机通信接口:UART、I2C、SPI、TTL、RS232、RS422、RS485、CAN、USB
- 车架号识别系统-VIN码识别查询
- 微信小程序--简约加载动画合集
- Vue之filters传参问题
- 实训1 构建一个计算列表中位数的函数
- Ruby On Rails 阿里云UBUNTU实例
- 对安卓手机上的APP做monkey压力测试
- 【阅读笔记】《深度学习》第一章:引言
- DMIPS CPU主频
- 前端使用jquery.wordexport.js导出word