项目简述

我们预计开发一个基于虚幻4引擎的帮助用户学习太极拳的实时系统，该系统会使用到当前比较热门的人机交互技术来实现功能，例如虚拟现实、动作捕捉、语音控制等。我们预计当该系统开发完毕后，它应该能够为用户的学习情况评分，直观地显示用户的错误，并能够让用户对自己掌握不足地部分有针对性地进行强化训练。

个人分工

我在此次项目中主要负责的部分是用户与系统的交互与管理git仓库。

具体情况

我们的系统使用 HTC vive 虚拟现实套件，在虚拟场景中，该套件使用左右手各一个手柄来操纵虚拟角色和与系统交互，但是在我们要实现的太极拳学习系统中，用户在学习过程中显然不可能将手柄时刻握在手中，也就无法使用手柄来控制系统，因此我们需要寻求另外的解决方案。
此时自然会想到，可以使用我们的动捕设备来与系统交互，但是我们目前拥有的动捕设备并没有追踪到用户手指的动作，所以没有办法直接使用手指与虚拟菜单交互。因此我们能够利用动捕设备来交互的方式只有像kinect那样，通过用户身体姿势或者是在场景中放置实体按钮等，更具体的方案还没有想到，但是后期可能会追加 Leap Motion 用来捕捉用户的手部动作，这样就可以实现较灵活的交互方案，所以这一部分预计放到语音控制实现后再做讨论。
最后一种交互手段就是语音控制，这种方案在我们的系统中是比较合适的，但是其缺点也很明显，就是语音识别的准确度可能不高，且控制也不够灵活，我认为实际上只能作为一种辅助手段来使用。
我认为最终还是会将语音与手势结合起来实现交互系统。

目前进展

目前我的计划是先将语音识别模块整合进ue4，这样就有三个步骤：
1. 在ue4中利用麦克风获取用户语音输入
2. 将麦克风输入处理为语音识别api可以使用的格式
3. 调用api识别并获取结果

从这几天查阅的资料看，ue4中获取麦克风输入大概有三种方式：
1. 在ue4.19之前的版本中，使用OnlineSubsystem模块中提供的IVoiceCapture接口。这种方式实际上应该是利用了网络模块的功能，所以需要先创建subsystem session才能够正常工作。我对unreal c++的使用并不熟悉，所以还需要按照论坛中的讨论来摸索具体如何实现。据虚幻论坛这种方式取得的数据是 16 bit PCM at 16khz, single channel。
2. 在ue4.19中官方更新了Audio Capture Plugin，据论坛中的讨论，其中提供了麦克风相关的组件可以获取输入，该方式获得的数据应该也是PCM，大概率与第一种方式的相同，但是ue4.19才刚刚放出，网络上相关的讨论很少，因此需要自己尝试，我目前没有找到相关的文档。
3. 在ue4中通过 windows api 访问麦克风。有一篇博客使用了这种方式，但是这样做是否没有隐藏的问题还不明确。

下一步计划

我将依次尝试上面说到的三种方式，先从官方提供的api开始，尝试获取麦克风的数据。

（个人）VR太极拳学习系统-创新实训第一周（1）相关推荐

（个人）太极拳学习系统创新实训第一周（一）
一.项目背景: 太极拳作为国家非物质文化遗产,集颐养性情.强身健体.技击对抗等多种功能为一体.为了能够更好的帮助人们学习和传承太极拳,我们想要开发出一种可以实时校准用户动作并且能够对用户动作评估的太极 ...
（个人）VR实时交互的太极拳学习系统创新实训第一周（2）
这周主要进行了人物模型和示例动画的制作和利用动捕进行舞蹈学习的论文的学习. 使用Neuron和Motion Builder进行了太极拳动作的采集和处理.以下是我使用Motion Buileder导出模 ...
（个人）AR电子书系统创新实训第一周（1）
-我们小组五人在选定了实训的课题之后就开始仔细讨论整个项目的设计.在产品展示上我们分为两部分,一块是纸媒,一块是APP. - 纸媒的展示效果就是,在我们做的宣传册上扫图片就可以获得二维甚至三维的视觉体 ...
（个人）VR实时交互的太极拳学习系统创新实训第七周（2）
标准动画信息的重动捕因为开始使用了demo中,使用的是一个简单的机器人,不符合最终成品的要求,因此和组里另一名成员进行新的模型动作的制作-----使用一个穿着太极拳服的角色重新进行动捕. 为了使原来 ...
（个人）太极拳学习系统创新实训第四周
一.上周工作问题的解决 a) 观看模式已经成功合并到主项目当中,统一了一些公用变量. b) 给用户一个准备的时间,准备动作做好之后说出开始指令后再开始学习. c) 创建一个UserCharacter作 ...
（个人）太极拳学习系统创新实训第三周（一）
本周任务: 这周的主要任务是实现基于Unreal Engine 4的VR交互,我将介绍我在这周完成的VR交互的进度和在实现过程中遇到的具体问题. 主要过程: 首先在Unreal Engine 4中创建 ...
（个人）AR电子书系统创新实训第二周（2）
打包安卓遇到的问题&测试二维码生成功能打包安卓在上一篇报告中我成功地做出了一个简单的二维码识别项目,于是我便尝试将其打包为安卓格式.安卓文件确实顺利地打包出来了,程序也可以运行,但出现了一 ...
（个人）AR电子书系统创新实训第四周（1）
(个人)AR电子书系统创新实训第四周(1) 宣传册设计周记07 01宣传册目录 ①拷贝封面底层的云纹. ②设计印象济宁方形框,包括文字的创意与排版,方框的位置摆放,印章的位置摆放. ③目录的设计,包括 ...
（个人）AR电子书系统创新实训第四周（2）
(个人)AR电子书系统创新实训第四周(2) 宣传册设计周记08 01五与六页该页的主要内容是介绍济宁的几个代表性文化,分别是孔孟文化,运河文化,水浒文化,佛教文化,梁祝文化,和师祖文化. 这一页面主 ...

（个人）VR太极拳学习系统-创新实训第一周（1）