实物交互在言语康复训练中的应用.pdf

第28 卷 第9 期 计算机辅助设计与图形学学报 Vol. 28 No.9

2016 年9 月 Journal of Computer-Aided Design & Computer Graphics Sep. 2016

实物交互在言语康复训练中的应用

1) 2)* 2) 3) 4) 4) 1,4)

黄朝殿 , 陈 辉 , 彭晓兰 , 王 岚 , 张凤军 , 田 丰 , 王宏安

1) ( 中国科学院大学 北京 100190)

2) ( 中国科学院软件研究所人机交互北京市重点实验室 北京 100190)

3) ( 中国科学院深圳先进技术研究院环绕智能实验室 深圳 518055)

4) ( 中国科学院软件研究所计算机科学国家重点实验室 北京 100190)

(chenhui@iscas.ac.cn)

: 为解决传统基于WIMP 界面范式的言语康复训练系统难以被人工耳蜗植入(CI)儿童熟练掌握和使用等问题,

提出基于实物交互的言语康复训练系统. 采用Kinect 跟踪CI 儿童易操作的玩偶来实现人机交互, 并针对玩偶较小的

特点对实物跟踪算法进行优化; 通过该算法并结合 CI 儿童典型的言语康复训练过程, 设计并实现了相应的言语康复

训练任务. 通过CI 儿童的使用情况和康复训练师的问卷调查. 证明了文中系统的可行性和有效性.

：言语康复训练; 实物交互; 人工耳蜗植入儿童; Kinect 物体跟踪

：TP391.41

Tangible User Interface for Speech Rehabilitation Training

Huang Chaodian1), Chen Hui2)*, Peng Xiaolan2), Wang Lan3), Zhang Fengjun4), Tian Feng4), and Wang Hongan1,4)

1) (University of Chinese Academy of Sciences, Beijing 100190)

2) (Beijing Key Laboratory of Human-Computer Interaction, Institute of Software, Chinese Academy of Sciences, Beijing 100190)

3) (Surrounding the Intelligence Laboratory, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen 518055)

4) (State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences, Beijing 100190)

Abstract: It is difficult for artificial cochlear implant (CI) children to master and use traditional speech rehabilita-

tion training systems based on WIMP interface paradigm. In order to solve this problem, a tangible user inter-

face-based speech rehabilitation training system is proposed in this paper. The Microsoft Kinect is utilized to

track the puppets which are fami