第２１卷第３期 ２０１５年５月 载人航天 Ｖｏ１．２１ Ｎｏ．３ Ｍａｎｎｅｄ Ｓｐａｃｅｆｌｉｇｈｔ Ｍａｖ ２０１５ Ｌｅａｐ Ｍｏｔｉｏｎ虚拟手构建方法及其在航天训练中的应用 胡 弘 ，晁建刚 ，林万洪 ，杨 进 ，熊 颖 （１．中国航天员科研训练中心，北京１０００９４；２．中国航天员科研训练中心人因工程重点实验室，北京１０００９４） 摘要：针对我国载人航天地面虚拟训练中虚拟手构建的需求，利用Ｌｅａｐ Ｍｏｔｉｏｎ手势采集设备， 研究了虚拟手构建方法．提出了一种Ｌｅａｐ Ｍｏｔｉｏｎ虚拟手模型与约束。采用获取的信息构建出 符合人手生理学结构的虚拟手，并通过对比实验、主观评价实验验证了所构建的虚拟手与真实 手在完成操作手势时的构型、姿态等的相似性。Ｌｅａｐ Ｍｏｔｉｏｎ虚拟手构建方法在设备组装的虚 拟操作训练中的应用实践表明：该方法构建出的虚拟手与真实手基本一致，构建速度快，交互 性好．能够应用于以虚拟操作为代表的航天员虚拟训练中。 关键词：虚拟手；Ｌｅａｐ Ｍｏｔｉｏｎ；虚拟操作；航天训练 中图分类号：ＴＰ３９１．４１ 文献标识码：Ａ文章编号：１６７４—５８２５（２０１５）０３－０２５７－０６ Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｖｉｒｔｕａｌ Ｈａｎｄ Ｂａｓｅｄ ｏｎ Ｌｅａｐ Ｍｏｔｉｏｎ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｓｐａｃｅｆｌｉｇｈｔ Ｔｒａｉｎｉｎｇ ＨＵ Ｈｏｎｇ ，ＣＨＡＯ Ｊｉａｎｇａｎｇ ，ＹＡＮＧ Ｊｉｎ ，ＬＩＮ Ｗａｎｈｏｎｇ 一，ＸＩＯＮＧ Ｙｉｎｇ。 （１．Ｃｈｉｎａ Ａｓｔｒｏｎａｕｔ Ｒｅｓｅａｒｃｈ ａｎｄ Ｔｒａｉｎｉｎｇ Ｃｅｎｔｅｒ，Ｂｅｉｊｉｎｇ １０００９４，Ｃｈｉｎａ； ２．Ｎａｔｉｏｎａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｈｕｍａｎ Ｆａｃｔｏｒｓ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ １０００９４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇ ａｔ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ｏｆ ｖｉｒｔｕａｌ ｈａｎｄ ｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ａｓｔｒｏｎａｕｔ ｖｉｒｔｕａｌ ｔｒａｉｎｉｎｇ ｆｏｒ ｍａｎｎｅｄ ｓｐａｃｅ ｍｉｓｓｉｏｎｓ ｏｆ Ｃｈｉｎａ．ｔｈｅ ｖｉｒｔｕａｌ ｈａｎｄ ｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ Ｌｅａｐ Ｍｏｔｉｏｎ ｗａｓ ｒｅ— ｓｅａｒｃｈｅｄ．Ａ Ｌｅａｐ Ｍｏｒｉｏｎ ｖｉｒｔｕａｌ ｈａｎｄ ｍｏｄｅｌ ａｎｄ ｉｔｓ ｒｅｓｔｒａｉｎｓ ｗｅｒｅ ｐｒｏｐｏｓｅｄ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｓｔｒｕｔ． ｔｕｒｅ ｏｆ ｈａｎｄ．ｔｈｅ ａｕｔｈｏｒｓ ｕｓｅｄ ｔｈｅ ａｃｑｕｉｒｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｄｒａｗ ｔｈｅ ｖｉｔｕａｌ ｈａｎｄ．Ｔｈｅ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｒｇｅｓｔｕｒｅ ｏｆ ｔｈｅ ｖｉｔｕａｌ ｈａｎｄ ｗｅｒｅ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈａｔｒ ｏｆ ｔｈｅ ｒｅａｌ ｏｎｅ ｂｙ ｃｏｎｔｒａｓｔ ｅｘｐｅｒｉｍｅｎｔ ａｎｄ ｓｕｂ— ｊｅｃｔ ｅｖａｌｕａｔｉｏｎ．Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｔｈｅ Ｌｅａｐ Ｍｏｔｉｏｎ ｖｉｔｒｕａｌ ｈａｎｄｓ ｉｎ ｖｉｔｒｕａｌ ｅｑｕｉｐｍｅｎｔ ａｓｓｅｍｂｌｙ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｅ ｖｉｒｔｕａｌ ｈａｎｄｓ ｗｅｒｅ ｃｏｎｓｔｒｕｃｔｅｄ ｆａｓｔ，ｗｉｔｈ ｓａｔｉｓｆａｅｔｏｒｙ ｉｎｔｅｒａｃｔｉｖｅ ｆｅａｔｕｒｅ ａｎｄ ｗｅｒｅ ｃｏｎｓｉｓｔｅｎｔ ｗｉｔｈ ｒｅａｌ ｈａｎｄｓ．Ｉｔ ｍａｙ ｂｅ ｕｓｅｄ ｉｎ ｖｉｒｔｕａｌ ｏｐｅｒａｔｉｏｎ ｆｏｒ ａｓｔｒｏｎａｕｔ ｖｉｒｔｕａｌ ｔｒａｉｎｉｎｇ． Ｋｅｙ ｗｏｒｄｓ：ｖｉｒｔｕａｌ ｈａｎｄ；Ｌｅａｐ Ｍｏｔｉｏｎ；ｖｉｒｔｕａｌ ｏｐｅｒａｔｉｏｎ；ｓｐａｃｅｆｌｉｇｈｔ ｔｒａｉｎｉｎｇ １ 引言 在我国未来空间站任务阶段，长期有人照料 始应用于航天员训练中，这其中虚拟手是完成交 互的关键 美国的ＮＡＳＡ［１－２］以及欧空局＿３ 基于一些特 的空间科学实验任务会不断增长，航天员操作的 任务种类将不断增多。飞行训练任务将越来越繁 重，传统的地面训练方式将难以满足Ｅｔ益繁重的 定的太空实验与操作任务开发出一系列虚拟训练 系统，这些系统通过采集手的运动信息驱动虚拟 训练场景中的虚拟手进行交互，帮助航天员完成 任务训练需求。在此背景下，随着人机交互技术 特别是手势识别技术的快速发展，为提高航天员 了许多复杂操作任务的训练。国内这方面起步虽 然较晚，但也已经研制出了一些原型系统 ４ ］。然 而，目前上述虚拟训练系统中对于手势的采集都 训练效率，基于手势识别的虚拟训练系统已经开 收稿日期：２０１４．１１—１９：修回日期：２０１５－０３．１３ 基金项目：中国航天医学工程预先研究项目（２０１３ＳＹ５４Ａ１３０３） 作者简介：胡弘（１９８９一），男，硕士研究生，研究方向为航天飞行训练仿真。Ｅ—ｍａｉｌ：ｈｈｈ２００８２９７６＠１２６．ｃｏｎ ２６２ 载人航天 第２ｌ卷 虚拟训练方式具有十分广泛的应用，例如对仪器 仪表的虚拟操作训练，对在轨设备的组装、维护、 维修训练，对多人任务的虚拟协同交互训练，对遥 控设备的远程遥操作训练等。虚拟手交互的引 入，有利于进一步增强虚拟训练的真实感与沉 浸感 ５结论 本文通过建立Ｌｅａｐ Ｍｏｔｉｏｎ虚拟手模型。在虚 拟环境中构建训练用虚拟手，并通过实验验证了 这种构建方法的可行性，得到的主要结论如下： １）Ｌｅａｐ Ｍｏｔｉｏｎ虚拟手模型能够比较有效地 描述手的大部分姿态与动作，在一定精度的前提 下．与其它模型相比约束更简单、计算效率更高； ２）对比与主观评价实验结果表明本文构建 的虚拟手与真实手对比在构型、姿态上基本一致， 具备一定的交互真实感； ３）应用实验结果表明本文描述的方法可以 满足航天员训练用虚拟手的构建与航天操作手势 交互需求。并能够一定程度上完成虚拟操作等训 练的操作交互任务，并在未来航天员虚拟训练任 务中有着更广泛的应用。 参考文献（Ｒｅｆｅｒｅｎｃｅｓ） Ｓｍｉｔｈ Ｊ Ｄ，Ｔｗｏｍｂｌｙ Ｉ Ａ，Ｂｒｕｙｎｓ Ｃ，ｅｔ ａ１．ＮＡＳＡ Ｖｉｒｔｕａｌ ＧｌｏｖｅｂｏＸ（ＶＧＸ）：ｔｒａｉｎｉｎｇ ａｎｄ ｓｉｍｕｌａｔｉｏｎ ｆｏｒ ｂｉｏｌｏｇｙ ｒｅ— ｓｅａｒｃｈ ａｂｏａｒｄ ｔｈｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｓｐａｃｅ ｓｔａｔｉｏｎ『Ｃ］／／ＡＩＡＡ Ｃｏｎ一 ｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐａｃｅ Ｓｔａｔｉｏｎ Ｕｔｉｌｉｚａｔｉｏｎ．２００１：１５－ ｌ８． ［２］ Ｆｒａｎｋ Ａ ０，Ｔｗｏｍｂｌｙ Ｉ Ａ，Ｂａｒｔｈ Ｔ Ｊ，ｅｔ ａ１．Ｆｉｎｉｔｅ ｅｌｅｍｅｎｔ ｍｅｔｈｏｄｓ ｆｏｒ ｒｅａ１．ｔｉｍｅ ｈａｐｔｉｃ ｆｅｅｄｂａｃｋ ｏｆ ｓｏｆｔ—ｔｉｓｓｕｅ ｍｏｄｅｌｓ ｉｎ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｓｉｍｕｌａｔｏｒｓ［Ｃ］／／Ｖｉｔｒｕａｌ Ｒｅａｌｉｔｙ，２００１．Ｐｒｏ－ ｃｅｅｄｉｎｇｓ．ＩＥＥＥ．ＩＥＥＥ，２００１：２５７－２６３． ［３］ Ｂａｒｎｅｓ Ｂ，Ｍｅｎｏｎ Ａ Ｓ，Ｍｉｌｌｓ Ｒ，ｅｔ ａ１．Ｖｉｔｒｕａｌ ｒｅａｌｉｔｙ ｅｘｔｅｎ— ｓｉｏｎｓ ｉｎｔｏ ｓｕｒｇｉｃａｌ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｌｅｏｐｅｒａｔｉｏｎ［Ｃ］／／Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｂｉｏｍｅｄｉｃｉｎｅ，２００３．４ｔｈ Ｉｎｔｅｍａ－ ｔｉｏｎａｌ ＩＥＥＥ ＥＭＢＳ Ｓｐｅｃｉｌａ Ｔｏｐｉｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ， ２００３：１４２—１４５． ［４］ Ｌｉｕ Ｙ，Ｃｈｅｎ Ｓ，Ｊｉａｎｇ Ｇ，ｅｔ ａ１．ＶＲ ｓｉｍｕｌａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ＥＶＡ ａｓｔｒｏｎａｕｔ ｔｒａｉｎｉｎｇ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＩＡＡ Ｃｏｎ￣ｒ－ ｅｎｃｅ ｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐａｃｅ Ｓｔａｔｉｏｎ Ｕｔｉｌｉｚａｔｉｏｎ，２０１０． ［５］ 安明，刘玉庆，周伯河，等．失重状态下旋转陀螺交互操 作的仿真研究［Ｊ］．载人航天，２０１４，２０（３）：２１４－２１８． Ａｎ Ｍｉｎｇ，Ｌｉｕ Ｙｕｑｉｎｇ，Ｚｈｏｕ Ｂｏｈｅ，ｅｔ ａ１．Ｓｔｕｄｙ ｏｎ ｒｅａｌ－ｔｉｍｅ ｉｎｔｅｒａｃｔｉｖｅ ｓｉｍｕｌａｔｉｏｎ ｏｆ ｒｏｔａｔｉｎｇ ｔｏｐ ｉｎ ｗｅｉｇｈｔｌｅｓｓｎｅｓｓ［Ｊ］． Ｍａｎｎｅｄ Ｓｐａｃｅｆｌｉｇｈｔ，２０１４，２０（３）：２１４－２１８．（ｉｎ Ｃｈｉｎｅｓｅ） ［６］ Ｐａｖｌｏｖｉｃ Ｖ Ｉ，Ｓｈａｒｍａ Ｒ．Ｈｕａｎｇ Ｔ Ｓ．Ｖｉｓｕａｌ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ｈａｎｄ ｇｅｓｔｕｒｅｓ ｆｏｒ ｈｕｍａｎ．ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ：ａ ｒｅｖｉｅｗ『Ｊ］． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９９７，１９（７）： ６７７－６９５． ［７］ 康金兰，晁建刚，林万洪，等．视觉手势识别技术在航天 虚拟训练中的应用研究［Ｊ］．载人航天，２０１４，２０（３）： ２１９．２２２． Ｋａｎｇ Ｊｉｎｌａｎ，Ｃｈａｏ Ｊｉａｎｇａｎｇ，Ｌｉｎ Ｗａｎｈｏｎｇ，ｅｔ ａ１．Ｒｅｓｅａｒｃｈ ｏｎ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｖｉｓｉｏｎａｌ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｉｎ ｍａｎｎｅｄ ｓｐａｃｅ ｖｉｒｔｕａｌ ｔｒａｉｎｉｎｇ［Ｊ］．Ｍａｎｎｅｄ Ｓｐａｃｅｆｌｉｇｈｔ， ２０１４，２０（３）：２１９－２２２．（ｉｎ Ｃｈｉｎｅｓｅ） ［８］ Ｈｕ Ｈ，Ｃｈａｏ Ｊ Ｇ，Ｚｈａｏ Ｚ Ｑ．Ｓｔｕｄｙ ｏｆ ｖｉｓｉｏｎ・ｂａｓｅｄ ｈａｎｄ ｇｅｓ— ｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ａｓｔｒｏｎａｕｔ ｖｉｒｔｕａｌ ｔｒａｉｎｉｎｇ［Ｃ］／／Ａｄ— ｖａｎｃｅｄ Ｍａｔｅｒｉｌａｓ Ｒｅｓｅａｒｃｈ．２０１４，９９８：１０６２－１０６５． ［９］ Ｗｅｉｃｈｅｒｔ Ｆ，Ｂａｃｈｍａｎｎ Ｄ，Ｒｕｄａｋ Ｂ，ｅｔ ａ１．Ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ａｃｃｕｒａｃｙ ａｎｄ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ｌｅａｐ ｍｏｔｉｏｎ ｃｏｎｔｏｒｌｌｅｒ『Ｊ］． Ｓｅｎｓｏｒｓ，２０１３，１３（５）：６３８０－６３９３． ［１０］ 李志华，钟毅芳．虚拟手模型及其抓取技术［Ｊ］．小微型 计算机系统，２００３，２４（６）：１０７１－１０７４． Ｌｉ Ｚｈｉｈｕａ．Ｚｈｏｎｇ Ｙｉ￣ｎｇ．Ａ ｖｉｔｒｕａｌ ｈａｎｄ ｍｏｄｅｌ ａｎｄ ｉｔｓ ｒｕｌｅ ｆｏｒ ｇｒａｓｐｉｎｇ［Ｊ］．Ｍｉｎｉ－ｍｉｃｒｏ Ｓｙｓｔｅｍｓ，２００３，２４（６）：１０７１－ １０７４．（ｉｎ Ｃｈｉｎｅｓｅ） ｒ １ １］ Ｇｕｎａ Ｊ，Ｊａｋｕｓ Ｊ，Ｐｏｇａ￣ｎｉｋ Ｍ，ｅｔ ａ１．Ａｎ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｐｒｅｃｉ— ｓｉｏｎ ａｎｄ ｒｅｌｉａｂｉｌｉｔｙ ｏｆ ｔｈｅ Ｌｅａｐ Ｍｏｔｉｏｎ ｓｅｎｓｏｒ ａｎｄ ｉｔｓ ｓｕｉｔａｂｉｌｉｔｙ ｏｆｒ ｓｔａｔｉｃ ａｎｄ ｄｙｎａｍｉｃ ｔｒａｃｋｉｎｇ［Ｊ］．Ｓｅｎｓｏｒｓ ２０１４，１４（２）： ３７０２．３７２０