传统增强现实技术可以生成教材中的三维交互,但是对于教材中的图片逐一进行匹配建模又增加了软件开发了时间成本,亟需新的技术来改善性能。随着计算机视觉技术和深度学习技术的快速发展,将AR与深度学习相融合将会碰撞出新的深蓝市场。本系统结合OCR技术将教材的文字图片转为字符可以减轻手工输入的工作量、可以用于文字搜索,结合语音合成即可实现朗读功能;由于不同教材中存在着较多的物品种类相同的不同图片(特别是儿童AR图册),本作品使用深度学习中发展迅猛的物品识别技术代替特征点匹配检测图片,能一定程度减轻程序开发负担。同时在AR交互方面,本作品引入了“百度语音识别”和“Leap Motion手势识别”用语音或者手势来操作AR模型进行移动、缩放、旋转等操作。为了更好帮助学习,系统还支持曲线统计学习情况、获取未来几天的天气并制定学习计划的提醒、定时学习等功能。

经测试,系统能较好完成OCR、物品检测与识别、能生成AR模型并支持虚拟按键的模型控制、能整合百度语音识别SDK和接收手势指令,能很好完成其他附带功能,对于中小学生学习可以产生一定的帮助。随着人们对学习方式多样化的逐步追求,将时下热门的AR技术与计算机视觉相结合具有较好

本作品主要致力于中小学生的兴趣培养和空间想象能力的提高,具备两项主要功能,第一:能够提供学习规划、学习提醒、学习时间曲线反馈等功能来提高学习的自觉性和有效性。第二:能够在学习过程中提升学习体验。通过OCR技术、物品识别、AR技术、手势和语音交互将静态的文字、图片读物立体化,通过虚拟按键的旋转、移动、缩放增加阅读的互动性、趣味性。其中虚拟按键的交互取代了头戴式交互式设备,物品识别技术使得模型的应用更一般化能有效减少开发成本,学习统计能定制更好的学习方案起到良性循环。

图1. 增强现实应用场景(作品效果图)

基于计算机视觉的学霸养成系统,是一款集合多种图像处理技术于一体的智能相机,主要功能模块分为OCR识别,物品识别,AR增强现实,报表分析和其他相关子功能。

图 2. 总体功能结构图的现实意义。

效果如下所示:

交互式AR趣味学习软件相关推荐

  1. 计算机仿真实验用的教学软件是,AR增强现实教学软件,学习效果倍增

    原标题:AR增强现实教学软件,学习效果倍增 AR增强现实教学软件是以计算机仿真技术.多媒体技术和AI人工智能技术依托的一款新型教学软件.系统最大限度地还原真实的场景,不再局限于实验场地.仪器.设备.材 ...

  2. linux词语大全,简单词语大全二字学习软件-简单词语大全四字下载v1.5.3-Linux公社...

    简单词语大全二字学习软件是一款可以让用户快速背单词的软件,这款软件为用户提供了英语内容搭配影音的例句,让用户可以轻松学习英语.其中,用户可以在简单词语大全二字学习软件上对多人进行挑战,看自己的英语水平 ...

  3. 9款高质量学习软件,原来学霸都是这么炼成的!

    白天不懂夜晚的黑,学霸不懂学渣的泪.现在,学渣也不用流泪了,试试这九款学习软件,学渣也能晋级学霸! 中国大学MOOC 中国大学MOOC(慕课)是由网易公司与教育部爱课程网携手推出的在线教育平台,汇集中 ...

  4. 对“英语趣配音”学习软件的教学设计分析

    在世界全球化趋势日益明显的时代背景下,英语教学是面向大众的不可或缺的教育内容之一,能够流利地说好英语在人们追求更高更远目标的过程中,有着举足轻重的作用.英语趣配音将视频配音与语言学习巧妙结合在一起,通 ...

  5. 对学习软件“佳佳儿童乐园”的测评

    佳佳儿童乐园是一款启蒙益智的幼儿教育软件.软件包括中文儿歌,中文童谣,英文儿歌,小故事,童话故事,学英语,学古诗,学拼音,识字,益智游戏,涂色拼图,数学游戏,语文游戏,英语游戏14个单元. 这是一款优 ...

  6. 初中学历可以学HTML5,【推荐】初中生必备的5个学习软件

    必备指数:★★★★★ 洋葱数学让每个学生"一学就懂"!洋葱数学是一款微课与习题结合,让中学生轻松.高效进行个性化学习的在线数学学习工具. 推荐理由: 1.趣味视频,5分钟讲懂知识点 ...

  7. 轻松制作儿童趣味算术软件 - imsoft.cnblogs

    轻松制作儿童趣味算术软件 马震安 电脑爱好者 2014-07-23 08:38技巧 0 条评论 标签:软件 兴趣是学习的动力,以动感的软件和自动判断得分的形式测试孩子的算术能力,总要比在白纸上出几道题 ...

  8. 中学生听说能力测试软件,初中生学习软件排行榜 适合初中生学习的APP推荐

    初中生学习软件排行榜 适合初中生学习的APP推荐2018-09-06 16:02:47文/张雪娇 初中学习软件有哪些是好用的,很多初中生想要知道哪一些是适合自己目前阶段学习的软件,下面初三网小编就为大 ...

  9. 10个深度学习软件的安装指南(附代码)

    来源:AI前线 本文长度为2385字,建议阅读4分钟 本文为你介绍10个深度学习软件安装指南. 由于近期论文的需要,我搭建了一个基于 Ubuntu 和英伟达的深度学习环境.尽管已经有很多非常棒的关于英 ...

最新文章

  1. Linux运维系统工程师系列---16
  2. oracle的connect by语句
  3. linux 运行python 看不到异常信息_linux python运行报编码错误
  4. JS过滤表单数据中的特殊字符
  5. Java基础复习-八大基本数据类型-内存模型-基本算法-网络编程
  6. 机器学习在金融风控实践经验
  7. linux服务器备份,Linux服务器上如何备份
  8. ArcGIS 实验理论基础六 ArcCatalog中空间数据的操作
  9. bibibi 下载_哔哩哔哩下载电脑版_哔哩哔哩官方版下载[bilibili]-下载之家
  10. 电脑搜索不到打印机应该怎么办?
  11. 简述autocad在测绘工程中的应用_AutoCAD在工程测绘制图中的应用
  12. 新高考(3+1+2)模式下高中考试考场自动安排(Excel+VBA)
  13. 红米8.0系统手机(亲测有效)激活xposed框架的经验
  14. 蚂蚁集团境外站点 Seata 实践与探索
  15. MySQL安装1045错误代码解决方案
  16. java 解析p12_java引用微信支付的p12证书文件
  17. 大连理工计算机科学与技术,学院概况-大连理工大学计算机科学与技术学院
  18. 内网渗透之跨路由访问
  19. 不会英语自学php要多久,一个人自学英语要多久 自学英语的方法
  20. python上机练习

热门文章

  1. 录音转文字助手该怎么使用?这里教你操作方法
  2. 守正出奇:两台“天价电视”,能让创维坐稳高端市场吗?
  3. 开抖音小店怎么赚钱?无货源模式还能做吗?真实情况分析
  4. java ee小程序_JAVA EE社团管理升级版-微信小程序端说明文档
  5. 【编译原理-实验-1】词法分析器最详细设计报告(c++版)
  6. linux 内核参数 rss,容器内核参数
  7. 计算机组装与维护系统优化,计算机组装与维护教程教程课件第14章 计算机日常维护与优化.ppt...
  8. 专升本学习计划各个阶段复习程度------2022年你的升本计划,请注意查收!!!
  9. Plain Text
  10. 如何撬动温控器市场?免开发打造智能温控器