微美全息（NASDAQ：WIMI）开发基于手势识别的虚实交互系统提升虚实交互的智能性|微美全息_新浪财经

　　来源：济源网

　　随着虚拟现实技术的发展，人们对虚实交互需求日益增强，手势交互以其简单灵活的特点，成为非接触式人机交互的重要方式。手势识别与虚拟现实仿真技术结合对人机交互技术发展具有重要推动作用，具有良好的应用前景。如何在实时手势识别基础上提高其精度，提升虚实交互的智能性，是影响其应用推广的重要因素。

　　据悉，微美全息（NASDAQ：WIMI）开发了基于手势识别的虚实交互系统，其是通过识别设备对用户的身体动作与手势动作进行识别，再利用沉浸式设备对系统处理结果进行反馈，大大丰富了交互语义，并提升了交互的自然友好性。具有可视化效果逼真、交互方式友好，且具备良好兼容性交互方式的优势。

　　首先通过采集设备获取手部实时数据然后判断手势动作的连续点，使用基于加权的动态时间规整算法对手势动作的粗粒度识别，在识别出基本的手势动作之后，再对具体动作进行进行特征向量的提取和匹配，对主要特征局部图像进行标记，并使用深度学习方法对手势动作进行细粒度识别，然后将两者的结果结合进行详细的手势翻译，最后将识别结果与虚拟环境进行交互，让用户体验真实的虚拟环境与事件交互，为用户模拟出身临其境的感觉。

　　基于加权的动态时间规整算法的手势识别主要分为三个步骤：对手势样本库的建立，训练手势样本模型，识别样本与样本库样本的相似度匹配。在识别时首先截取部分手势帧作为测试样本，然后与样本库中的样本进行对比，找出与之最匹配的样本。

　　在细粒度手势识别过程中，通过卷积神经网络进行自动图像特征提取，并使用候选区域选择合适的手势动作。算法包括特征提取网络，区域建议网络获取，兴趣区域池化和全连接层等几个部分。手势细粒度图像由若干卷积层与池化层交替进行特征提取，卷积网络层的每个局部信息节点通过卷积网络内核与上一层神经网络局部的信息节点相连，卷积神经网络获取的手势细粒度特征结果经过激活函数的优化，从而直接得到该网络层细粒度手势的特征图；池化层神经网络中每个手势的输入特征面与上一层手势特征面信息相对应，对手势的特征信息稀疏处理，获取具有空间不变行的特征。在全连接层中，整合了手势中细粒度区分性较大的特征信息；在输出层，通过分类器对手势细粒度进行特征处理后的数据返回分类处理结果。

　　在特征提取网络中仅关注手部的局部细节，如手指的位置，动作以及运动轨迹等，经过特征提取池化操作之后，图像在保证基本信息的同时，维度只有原图的一半，可以有效的降低计算的时间复杂度。区域建议网络以特征提取网络的最后一个输出值作为输入，并使用固定大小的窗口，在特征图上滑动，每次滑动就可以获取到一个低纬度的向量值，在区域建议网络的最后一层，将每个像素点回归到原始图像所在的位置。提取的特征图和区域建议网络的候选区域作为输入，然后根据输入的图像，选择感兴趣的区域，也就是手指区域在特征图中对应的位置，并对该区域进行最大池化操作，接着就将该池化数据输入到全连接层总，从而输入属于最高的分类的概率，同时利用边框回归获得位置的偏移量，从而获得更加精确的目标检测框。WIMI微美全息基于手势识别的虚实交互系统可大大提高手势动作的识别率，提升人机交互的真实体验和沉浸感。

　　基于手势识别的沉浸式虚实交互是虚拟现实技术、计算机视觉及计算机图形学领域的热点话题。伴随着识别设备的迅速发展，人机交互水平的逐渐提高，人们对可视化的需求也发生变化，传统的鼠标、键盘、显示器已难以给用户带来三维立体的体验，对某些交互信息难以仅靠二维交互系统准确表达，因此，WIMI微美全息基于手势识别的虚实交互系统具有很大的应用价值。