使用 MediaPipe 实现设备端实时手部追踪

文 / Google Research 团队在各类技术领域和平台中，感知手部形状与运动轨迹的能力都是非常重要的，这有助于提高用户体验。这个能力既可以用来作为手语理解和手势控制的基础，也可以结合增强现实技术方便地在现实世界之上叠加数字内容与信息。虽然人类生来便拥有稳健的实时手部感知，但在计算机视觉领域，此任务却颇具挑战性，这是因为手经常会遮住自己或另一只手（例如手指 / 手掌间的遮挡以及握手），并且缺乏高对比度模式供计算机识别。今天，我们推出了一种全新的手部感知方法（我们已在 6 月的 CVPR 2019 大会上预览了此方法），该方法基于 MediaPipe 框架而实现，这种开源的跨平台框架可用于构建流水线，进而处理不同模式（如视频和音频）的感知数据。 ………………………………