一．背景
电力系统规模庞大、设备繁多、结构复杂，电气设备故障缺陷处理是电力生产运检的核心关键，但目前难以还原模拟设备故障缺陷的真实场景，并开展运检学习演练。因此，本项目利用混合现实相关技术，实现电气设备故障模拟与运检演练，围绕典型电气设备的故障缺陷，构建虚实融合的变电运检学习演练环境，实现设备故障相关的知识资源关联分析和信息辅助，最终针对电气设备故障缺陷的运检作业，构建应用新型便捷化、智能化学习模拟演练模式。
近年来，包含虚拟现实（Virtual Reality,VR）、增强现实（Augmented Reality,AR）的混合现实技术快速发展，它通过融合计算机硬件、图形仿真、传感器等多种科学技术，创造出与真实环境相近的多维立体虚拟场景，实现用户与现实世界的交互体验升级或信息感知增强。VR/AR技术能够在规避现实安全风险的前提下，实现对电气设备故障缺陷场景的有效准确模拟，便于随时随地开展重复性运检演练，能够很好解决电气设备故障模拟与运检演练面临的实际难题。
基于VR/AR的混合现实新型培训模式能够实现人机交互与智能系统的有机结合，工业和信息化部与国家标准化管理委员会联合发布的《国家智能制造标准体系建设指南(2018年版)》将“智能装备”、“智能工厂”标准作为主要建设内容之一，提出要开展“解决虚拟现实/增强现实（VR/AR）设备等多维度交互的融合协调和高效应用的问题”。基于VR/AR的新型混合现实培训模式研究，能够突破空间/时间限制，实现智能化、可视化、便捷化指引辅助，能对企业的巡检、维修环节应用实施起到引领规范效应。在此技术形势背景下，从电力实际业务需求出发，研究深化混合现实相关技术的创新应用，构建应用新型便捷化、智能化学习模拟演练模式，能够为提升电气设备运检智能化水平，对技能培训的提质、增效、降低成本有着重要作用。
本项目应用VR/AR技术实现电气设备故障模拟和运检演练，提升一线员工对电气设备故障缺陷的运检作业技能。针对现实场景难以开展的“电气设备故障模拟”这一关键问题，利用VR/AR混合现实相关技术的作用优势，提出“运检模拟演练”培训应用的关键技术方法和实施方案，实现新型便捷化、智能化的学习演练模式应用。
二．虚实融合绘制技术
虚实融合绘制研究的主要目的是估计真实场景的光照信息并实时反馈到虚拟物体绘制与渲染上，使虚拟物体更加自然地与真实物体融合到一起。Jacobs等人提出了一种已知真实场景大致几何和光源的条件下实时渲染的方案来模拟真实场景中的色调一致的阴影。Masayuki 等人提出了一种使用由二维方形标记和镜面球组成的 3D 标志来估计光源信息的增强现实系统，解决了几何和光照注册问题。Gibson 等人通过使用图形硬件技术实现了实时地对视频图像进行光照增强。Sloan 等人通过使用环境贴图来获取环境中的光线和阴影，并且对视频的每一帧采样，该方法能够简单的对全局光照进行重构。Barnard 和Cardei等人使用神经网络方法对光照色度进行恢复。
目前，从国外的增强现实技术的研究状况看，增强现实技术还需解决 “何时”、“何处”自动叠加“何种”提示信息的问题，包括：应用场景中存在的干扰、遮挡等不利因素的影响；多种自然交互方式的融合方法和集成框架；增强现实建模仿真的评价准则，衡量虚实融合条件下的注册性能、感知误差、交互负荷、认知效能等。
三．增强现实作业辅助技术
随着信息技术和移动智能设备的发展，人们对VR/AR混合现实的想象已不再满足于看到真实物体上叠加的虚拟数据信息，而是希望能将虚拟世界无缝融合到现实世界中，并与之实时互动，应用到企业的实际产品制造服务环节。在复杂机械、仪器的组装维护和修理方面，混合现实系统有着出色的表现，因此国外企业已经开始尝试应用混合技术作为巡检维修的手段，并获得了初步的成功。
沃尔沃汽车2015年就在其新产品研发中引入微软Hololens增强现实技术及硬件设备。德国蒂森克虏伯公司在2016年与微软合作开发了电梯的AR维修解决方案Max。德国的Scope公司也在2016年推出基于AR的辅助巡检解决方案。美国Boeing公司计算机服务研究和技术组的研究成果最为引人注目，他们将增强现实技术应用于飞机制造中的电力线缆的连接和接线器的巡检。富士通公司为了改善工厂设备维修维护工作人员的现场作业环境，已经将增强现实技术应用于自身的设备点检与24times;7的服务运营中。2017年Caterpillar探索利用AR技术为现场技术人员提供远程专业知识。他们可以分享周边环境的实时视频影像，并与办公室中提供分步指导的专家进行实时交流。AR智能眼镜的智能巡检系统，利用AR技术将标准操作规范图像或视频与巡检对象进行无缝贴合，使巡检人员在复杂精密设备中迅速找到指定对象，以有效完成智能巡检。
四.基于多传感器人体动作识别方法
人体动作识别包括基于静态的人体姿势识别和基于运动序列的人体动作识别。利用多种传感器设备实时采集各关节点运动数据，根据运动数据识别肢体动作，实现实体操作，比如完成旋转、拾取、放下、呼出菜单、单击确认等。
首先，根据人体骨骼特征提取出上身关节对应的4维骨骼特征数据和6个关节在全局坐标系下的三维坐标值以及4组欧拉角，一共34维特征。使用这34个特征描述人体关节的运动信息。然后，采用主成分分析法(PCA)对数据降维，求解特征值和特征值对应的正交标准化的特征向量。经过PCA计算后得到特征值，得到主成分，将测试样本乘以正交标准化特征向量构成的矩阵，得到降维后的数据。最后，采用基于网格搜索和交叉验证的支持向量机(SVM)算法进行分类和识别。
