Google可能并未完全遵循其对虚拟和增强现实产品的承诺,但具有讽刺意味的是,它一直在开发可以推动这些市场发展的技术。Google尤其在计算机视觉和机器学习方面进行了大量投资,无需将其卸载到运行在云上的强大服务器上。如果它的最新研究项目真正启动了,它可以使手和手指跟踪像使用照相机和智能手机一样经济实惠。

许多VR和AR系统都依靠头部跟踪来定位用户在数字世界中的位置和方向,但这几乎是它所能做的。在虚拟环境中尝试重现正常的手部动作和手势时,大多数系统都需要附加的传感器,摄像头和设备。相比之下,Google Research的MediaPipe框架只需要智能手机即可。

与任何Google魔术一样,秘密与机器学习和AI有关。研究人员试图将这一过程浓缩为更易于理解的概念,但最终归结为使用计算机视觉首先检测和分析手掌。根据手指的初始边界框,可以计算和预测包括手指位置在内的所有其他内容。然后,MediaPipe继续识别手势,这些手势是由早期过程产生的21个3D关键点。

使所有这些功能更加令人印象深刻的是完成所有这些操作所需的硬件。MediaPipe的目标是在设备上(在这种情况下为智能手机)实时提供手势识别系统。除了隐含隐私和性能外,它还简化了在任何设备上进行准确手部识别的要求。

这样的框架的应用实际上可能是非常惊人的。智能手机无需使用Project Soli等专用传感器即可实现手势控制。无论如何,智能眼镜和XR耳机可以使用相同的相机和处理器。剩下的就是让Google开发其真正的VR和AR生态系统,并在未来几年坚持下去。