我司与汽车职业学校合作hololens混合现实开发汽车发动机辅助检修项目。

概述

该软件旨在通过学校自身的师资力量和教学场地及现有教学装备，构建现代职业教育体系，加快学校发展现代职业教育，培养适合本市经济发展需要的技术技能人才。通过MR(混合现实)技术为发动机检修专业提供一个虚拟仿真教学课程研究与开发、教学研究与实验实践的平台。

目标

特色性：根据专业学习对口企业岗位的实际生产需要设计软件，来进行MR教学。

实用性：通过虚实结合、强化训练提高教学效率。

创新性：利用最新的MR技术手段，使学生耳目一新，积极主动的掌握知识点和技能。

数据性：利用软件教学，方便采集教学数据，使教学结果有直观的体现，为教学分析和研究打下基础。

方案简析

使用微软的MR头显HoloLens，将软件安装其中后使用。

MR教学场景，合并现实和虚拟世界而产生的新的可视化环境，产生的虚拟对象为全息图像，例如三维模型，窗口、菜单等。

通过头部凝视虚拟对象和手势操作，来实现虚拟交互。例如点击按钮、拖动物体等。

识别现实世界物体，进行相应功能开发，例如对学生实际操作的智能评分系统。

HoloLens直播，将在设备中看到和听到的虚实结合的场景投放到大屏幕，供所有学生观看，方便教学。

将HoloLens教学的操作数据和部分视频通过服务器保存。

后台管理系统，管理和查看师生和教学数据信息等。

远程教学和指导，老师可在电脑上指导戴HoloLens的学生操作。

界面截图：

远程指导

教师利用虚拟仿真画面、实时操作视频进行实时、随机、示范性动作

直播教学

以直播视频形式实施教学展示

混合现实教学

学生可以进行自助式操作，形成虚拟仿真与现实操作高度融合

完美叠加的视频教学画面

实施方案

本方案为制作发动机气门的检修教学，以后制作发动机其它部分的检修可相应地添加到本软件中。

全息显示示例

UI：用于显示菜单、按钮、文本或图片信息；用于用户输入信息。

三维模型和动画：模型用于展示零件或工具外观，动画用于展示零部件拆装和工作原理。

功能说明

学生需登录后才可使用本软件进行教学，登录方式为在软件初始界面输入学号和密码。

登录成功后，选择课次，课次由老师在后台编辑，由老师告诉学生应选择哪个课次，系统默认为最新课次。

进入教学后，学生的学号、姓名、课次和教学名称始终显示在视野固定位置，比如左上角。本方案中教学名称只有“发动机气门的检修”。

选择教学模式进行教学，教学模式分为学习模式、练习模式和评分模式。

学习模式：让学生了解零部件、工具使用和拆装过程。

练习模式：学生进行实物操作，有全息界面提示，学生可以随时查看当前该如何操作。

评分模式：学生进行实物操作，软件对学生操作进行一定程度的识别进行智能评分。

直播HoloLens教学

老师可以通过电脑登录HoloLens管理平台(一个局域网的ip)，直播HoloLens中的内容，其他学生可以在与电脑连接的显示设备上观看头戴HoloLens使用者的体验全过程。老师对一个学生指导，其他学生全部可以受益，提高教学效率。除了评分模式和远程指导的教学，都可以进行直播。

远程指导教学

通过使用HoloLens上的skype软件，可以让老师在电脑上一对多远程指导，在skype软件上可以视频、语音、甚至作图指导。老师在电脑上作的图，会在戴HoloLens的学生眼前转化为全息图像。

教学数据采集和保存

数据分为文本数据和视频数据，两者互为补充。

文本数据：记录软件操作日志。比如登录情况、选择的教学模式、教学模式使用情况等。

视频数据：直播HoloLens和远程指导的教学在电脑上可以看到视频，用录像软件录屏。评分模式如果需要录制视频，可以在HoloLens管理平台录制，但是每段录像只能录5分钟，所以用文本数据记录此教学过程。

文本数据，系统会自动记录并提交给服务器保存。

视频数据需要老师手动录制，将录制的视频文件通过后台管理界面上传到服务器保存。

后台管理系统

师生数据和教学数据的管理平台。

教学模式内容

学习模式

零部件和专用工具通过静态模型和UI展示，模型可以移动、旋转和缩放。

拆装过程通过三维动画和UI展示。

以下是展示内容

1.零部件：

进排气凸轮轴

气门挺柱

进排气门

2.专用工具：

1)

2)

3)

3.拆装过程：

凸轮轴的拆卸

气门挺柱的拆卸

气门的拆卸

凸轮轴安装

气门挺柱的安装

气门的安装

练习模式

全息界面提示操作流程，辅助学生实际操作。

练习前进行拆装分步选择，与学习模式的拆装过程类似，分成6步。选择后，全息界面提示当前拆装的步骤提示。

例如进行“凸轮轴的拆卸”，界面上提示，可以点击上一步下一步按钮查看提示，点击下一步之后，提示，点击上一步，又回到之前的提示，以此类推。

另外还可随时点击动画按钮，查看动画演示。

评分模式

老师在教学前，先在后台管理系统设置这次教学的内容(具体设置见后台管理系统介绍)。

学生进入评分模式后，系统会提示需要评分检测的内容，是否检测到内容会有标记提示。检测内容分为步骤检测和零件检测。另外，有“维修记录单”和“提交”按钮。“维修记录单”点击后出现记录单通过手势点击完成填写；“提交”点击后显示此次教学的评分。

1.步骤检测，系统会用实物识别检测是否完成此步骤，识别顺序按照步骤顺序(以下图片为检测实物)。

1)进、排气凸轮轴拆卸

2)全部气门挺柱的拆卸

3)对指定的一个汽缸的两组进、排气门进行拆卸

4)对指定的一个汽缸的两组进、排气门进行组装

5)全部气门挺柱的组装

6)进、排气凸轮轴组装

2.零件检测，系统会用实物识别一些拆卸过程中的关键零件，以辅助评分。

进排气凸轮轴

气门挺柱

进排气门

3.维修记录单

主要内容按照下图表格

填写表格方式

合格/不合格：点击选择

处理部分：点击选择，选择项有“正常”和其他后台设置好的选项

数字部分：点击填写处，虚拟键盘填写。

检测答案方式

根据后台设置好的正确答案核对。

4.提交

系统将此次评分数据(包括步骤检测、零件检测、维修记录单)上传到后台保存，并显示最终评分。

评分初步设定：

项目

小项

评分

步骤检测

进、排气凸轮轴拆卸

8

全部气门挺柱的拆卸

3

对指定的一个汽缸的两组进、排气门进行拆卸

14

对指定的一个汽缸的两组进、排气门进行组装

14

全部气门挺柱的组装

3

进、排气凸轮轴组装

8

零件检测

进排气凸轮轴

4

气门挺柱

3

进排气门

4

维修记录单

进排气门外观检查

4

进排气门长度测量

6

进排气门头部直径测量

6

进排气门锥面接触面宽度测量

6

汽缸盖上进排气门座接触面宽度测量

6

进排气门对气门座同心度检查

5

气门与气门座接触面的位置检查

6

总计

100

后台管理系统

登录身份

登录身份分为管理员、老师、学生。

管理员：最高权限，可以查看和操作所有数据

老师：可以编辑和查看自己的数据以及查看所教学生的数据

学生：可以查看自己的数据

后台内容

1.管理员

编辑和查看老师信息数据

账号/工号

初始密码固定123456

姓名

所教班级

编辑和查看学生信息数据

账号/学号

初始密码固定111111

姓名

班级

编辑和查看班级信息数据

班级编号

班级名称

编辑和查看教学内容信息数据

教学编号

教学名称

编辑和查看教学数据

可根据班级、教学名称和教学老师筛选

课次：系统根据老师编辑课次内容自动生成

时间：上课的时间

班级

教学老师

学生操作记录：登录、选择的教学模式、评分模式数据(包含各项评分和总分)、老师评语

教学视频：老师上传的此课次的视频

2.老师

修改自己的密码

新建或修改课次内容

时间：上课的时间

教学名称

班级：使用此课次的班级

评分模式内容：选择一个已经设置好的内容，供评分模式教学使用。

新建或修改评分模式内容

教学名称

评分模式数据：以“发动机气门的检修”为例，需设置“维修记录单”中各个数据的标准答案。

上传教学视频文件

选择课次后上传

查看教学数据

只可以查看自己的教学数据，数据内容同第1点管理员的第5小点。

可以给学生操作记录添加或修改评语。

3.学生

1)修改自己的密码

2)按照课次查看评分模式数据及老师评语

技术/项目方法

建模、三维动画：3D Max

UI设计：Photoshop、Flash等

前端程序：Unity3D

后台程序：PHP+MySQL

录屏工具：Apowersoft录屏王或其它同类软件

实物识别：Vuforia AR SDK