华人团队打造的3D手环，让VR游戏可以告别手柄 | 康奈尔出品

金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

可佩戴传感器技术，又迎来了潜在突破。

这一次，是一副「3D 手环」—— FingerTrak，由康奈尔大学和威斯康星大学麦迪逊分校联合打造。

FingerTrak的厉害之处，就在于它只需要观察你的手腕轮廓，就能以3D的形式重建20个手指关节位置，并且准确度很高。

研究人员称：

这是第一个根据手腕的轮廓，来重建完整手部姿势的系统。

不仅如此，FingerTrak还非常便携、迷你，手环上面只有4个微型热成像摄像头，而且每个都只有豌豆粒大小——比苹果手表还要薄。

这个3D手环可以用于手语翻译、虚拟现实、移动健康、人机交互等领域。

嗯，玩VR游戏可以告别手柄、手套了。

那么，这项技术是如何实现的呢？

不是以往的「捕捉」，而是「重建」

需要强调的是，这个3D手环的热成像摄像头，并不是用来捕捉手指位置。

而是将「热成像」和「机器学习」这两个技术做了一个结合。

系统的整体框架如下图所示。

也就是说，摄像头先拍摄一些手部轮廓的图像，然后利用一张深度神经网络，将这些剪影图像「缝合」在一起。

最后，以3D的形式虚拟重建整个手部的姿势，就像下面这张动图中显示的那样。

并且，将这种重建的结果，输入到机械手后，也可以让机械手完成重建后的手指动作。

当然，除了这些简单的动作，稍微复杂的手指动作重建也不在话下。

例如打开笔记本、拿起笔，重建出来的手指位置是这样的。

拿起手机打字的手指位置也能轻松拿下。

华人团队打造

这项研究的工作人员分别来自康奈尔大学和威斯康星大学麦迪逊分校，并且论文作者都是华人。

△张铖

张铖是康奈尔大学计算机与信息科学学院助理教授，也是SciFi Lab主任。研究兴趣领域是普适计算和人机交互。

具体而言，他的研究探讨了如何搜集关于人体及其周围的信息，以应对现实世界中各种应用领域的挑战，例如互动、健康感知和活动识别。

△Fang Hu

Fang Hu是这项研究的第一作者，也是SciFi Lab校友（去年秋天访问）。目前还是上海交通大学的本科生。

同样以校友身份参与此次研究的还有Peng He 和 Songlin Xu，分别是杭州电子科技大学和中国科学技术大学的本科生。

而Yin Li，则是来自威斯康星大学麦迪逊分校。

广泛的应用前途

那么，这样的技术，是否具有广泛的应用前途呢？

答案是肯定的。

据张铖介绍，一个最有希望的应用场景，就是手语翻译：

目前的手语翻译技术，要么要求用户戴手套，要么在相应环境中携带摄像机，这两重情况都很麻烦。

这可能真的会把目前的技术推向新的领域。

除此之外，论文作者之一的 Yin Li 介绍说，FingerTrak 技术还可能对医疗保健应用产生影响，特别是在监测影响精细运动技能的疾病方面：

我们移动手和手指的状态，能够反映出我们的身体健康情况。

像这样的设备，可以用来更好地了解老年人在日常生活中是如何使用手的，有助于发现帕金森氏症和阿尔茨海默氏症等疾病的早期迹象。

那么，这样的3D手环，你觉得还有哪些应用前景呢？

参考链接：

https://dl.acm.org/doi/abs/10.1145/3397306