7年秘密研发，Meta拿下元宇宙“登月项目”！气动手套让指尖有真实触感

彭琳

视频：Meta元宇宙硬件首秀：耗费7年时间打造，是扎克伯格的杀手锏？
新智元报道
编辑：好困 小咸鱼
【新智元导读】近日，Meta首次展示了秘密研发了七年的项目：「气动触觉手套」，颇具科幻魅力。这种触觉手套可以通过气囊让你体验到抓取捏造物体时的真实触感。对于Meta来说，这款手套和其他可穿着技术，都将让我们通往在VR和AR中实现互动的将来。

想要在元宇宙里「指点江山」吗？就是「头号玩家」里主角戴着的那种。
当然想了，可是，那里能买到呢？

有一个好消息是，这样的手套目前已经初具雏形了。

想象一下，你正在和朋侪的3D捏造化身拼一个3D捏造拼图。
当你从桌子上拿起一块捏造拼图时，能逼真地感受到拼图就在手中，就是手指会愣住的那种，效果大概就像下面这样。

拿起来观察的时间，不仅能够看到，也能摸到拼图边缘的锋利和外貌的光滑。然后，把拼图放到正确的位置时，「咔哒」一下，严丝合缝。
再想象一下，你来到一家咖啡馆「掏出」一个捏造的屏幕和键盘。
这个键盘可大可小，而且还能在「红轴」、「青轴」等各种不同手感之间往返切换，虽然看起来其实就是在敲空气。

是不是看起来非常像「元宇宙」中的场景？
没错，这就是Meta的现实实验室（Reality Labs, RL）在解决元宇宙中的一个核心挑战——「如何触摸捏造天下」上做出的一点点努力。
无非就是研发了7年，整了点新的材料、新的传感器、新的实行器、新的集成和系统方法、新的渲染算法以及新的物理引擎。
毕竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。

用手套触摸「元宇宙」
现在的VR技术，虽然能通过手持设备操纵捏造的物体，但是用户却完全无法感受到它们。

这个时间，如果有一个时尚、舒适、实惠、耐用、柔软、轻便的触觉手套，就能解决在使用VR和AR时面对的交互问题了。
这个手套不仅可以准确地将佩带者的手部动作反馈给计算机，而且还能重现一系列复杂、渺小的感觉，如压力、纹理和振动，创造出用手感受捏造物体的效果。

如果想还原真实的触感，手套上就必须搭载数百个实行器 （微小的马达），而且能够以一种协同运动的方式使佩带者感觉他们正在触摸一个捏造物体。
然而，工作刚开始两年，团队就碰到了传统电子和金属器件的限定。
用现有的机器实行器制作出的手套无法舒适地佩带一整天。不仅僵硬、昂贵、耗电，而且无法呈现真实的触觉感受。

Meta RL则盼望可以通过全新的材料制作一种柔软且有韧性的实行器，而且还可以根据佩带者的动作改变外形。
「显然，你不能在手上安放1000个电机和各种用来连通的电线，」Meta RL研究硬件工程总监Tristan Trutna解释道，「即便能实现，从物理层面上来说，也并不适合。手套的质量和使用时产生的热量都太大了。」

现实你也猜到了，这种实行器并不存在。
于是，团队决定转向软体机器人和微流体的新兴范畴，这此中的技术分别常用于假肢和PoC诊断设备。
经过一番研究，近两年Meta RL在气动实行器（使用气压来产生力）和电动实行器（在有电场的情况下改变外形或大小）方面都取得了庞大突破。

为了控制这些新的软实行器，Meta RL制造了天下上第一个高速微流体实行器。通过手套上的一个微小的微流体芯片，告诉阀门应该在何时以多大程度打开和关闭，从而控制输入实行器的气流。

Meta RL研究科学家Andrew Stanley指出，「对于VR或AR的触觉互动来说，实行器需要非常敏捷地对指尖进行加压，而利用空气就可以做到。」
有了流体逻辑电路，Meta RL能够通过减少控制大量实行器所需的机电阀门的数量来消除系统中极重的组件。
精确构建画面的触觉「渲染」
即使有了控制气流的方法，手套也需要知道何时何地提供正确的感觉。
这就需要使计算机能够准确地知道你的手在捏造场景中的位置，你是否打仗到了捏造物体，以及你的手是如何与物体互动的。
为此，Meta RL推出了一种新的渲染软件，能够根据手的位置和对捏造情况的明白，包括此中捏造物体的纹理、重量和硬度，在准确的时间向手上的实行器发送正确的指令。

「通常认为『渲染』是指视觉效果」，Meta RL软件工程师Forrest Smith说，「我们也用『渲染』这个词来形容触觉。我们在这里做的是把捏造天下的状态和你与它的互动，渲染到实行器上，这样你就能感受到相应的感觉。」

此中，物理引擎（用于模拟视频游戏中物体互动的软件）决定了你的手在与捏造物体互动时应该接受的力的方向、大小和位置。
而触觉渲染算法将这些信息与触觉设备的特性（如各个实行器的位置和属性）相联合，从而能向设备发送正确的指令。

联合听觉、视觉和触觉的反馈
随着团队的工作进入第四年，第三个挑战出现了。
为了使触觉发挥作用，Meta RL必须模拟现实来建立物理模子，但又不能完全重现现实天下的物理学。
虽然触觉手套可以提供有价值的反馈，但它们不能完善地阻止你的手指在试图抓住一个捏造物体时闭合，也不能阻止你的手在捏造桌子上停留时穿过桌子。
这怎么解决呢？
于是，他们又转向了感知科学和多感官整合，去研究人类的感官如何共同作用以建立我们对天下的明白。

佩带者体验研究科学经理Sophie Kim解释了该团队是如何利用人类的感知能力来创造足以令人信服的感觉的。
她说：「我们的大脑非常善于利用一点点触觉信号、一点点视觉信号、一点点听觉信号，并将它们融合在一起，真正感受到这种感觉，并确信有一个物体存在于你的手中。」
Meta RL感知研究科学家Jess Hartcher-O'Brien形貌了在VR和AR中的感官整合大概是怎样一种感觉。
「例如，当我准备拿起一个立方体时，会对它的材料范例和它大概的重量有一个假设。」
「在触碰到这个立方体的一瞬间，我就会把关于它的材料属性的视觉线索和触觉反馈联合在一起。」

「当我去操纵这个物体时，我的大脑会识别摩擦力和惯性，并能计算出这个物体的密度或重量。」
「我的视觉系统正在根据我的手臂如何移动而更新。感觉告诉我，我的手臂在空间中的位置，它的移动速度，以及我的肌肉正在做什么。」

而这就是触觉手套的神奇之处了，它乃至可以让佩带者的感知系统相信自己正在感受一个物体的重量。
佩带者手指的皮肤会被实行器轻轻地拉动，从而模拟重力对所持物体的拉扯，当然，这一切都必须在时间上完全同步。
在2017年底的一项实验中，Meta RL使用指尖上的单一振动触觉设备，在VR中的一系列不同材料制成的捏造球体（木头、大理石、泡沫）从空中落下时提供触觉反馈。
当每个球体落到受试者的捏造手指尖上时，都有独特的视觉、听觉和触觉反馈提示。

Keller表示，「全部的时间和工程对这种音频-视觉-触觉体验来说都是恰到好处的。你可以感觉到这是一块泡沫、木材或大理石。你可以体验到这些材料在落下时轻轻地打在你的手指上的感觉。」
发明将来：Meta RL刚刚开始
在VR和AR中提供可信的触觉体验所需的一些技术目前还不存在，但Meta RL仍在不断推动技术程度的进步，创造新的突破，使触觉手套成为现实。
「我相信，在即将到来的AR/VR和元宇宙的人机交互革命中，触觉将是至关重要的」，Meta RL Research科学经理Nicholas Colonnese说，「在将来，我们大概会呈现一个『触觉点击』，在你向元空间的朋侪打招呼时分享定制的『触觉握手』。」

Meta RL的触觉手套项目开始时是一个「登月项目」，但随着团队成功创新并完成了几十个学科的研究飞跃，它的可行性越来越高。
「当我们开始触觉手套项目时，我们问自己，我们是否能建立一个可大规模生产的、消费者负担得起的消费设备」，Keller说。

「其时，我们认为做不到，由于没有新的材料、新的传感器和实行器、新的集成和系统方法、新的渲染算法、新的物理引擎，什么都没有，这根本不大概，但时至今日，我们可以很骄傲地说，我们已经开发了一条可行的道路，可以让我们到达目标。」
时间过去了七年，而对于他们来说，这才刚刚开始。

「Meta现实实验室是一个创新的锻造厂」，Keller补充说，「你可以看到你创造的这些东西是如何现实影响人们和人们的生活的，这是非常故意义的。」
参考资料：
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/
https://www.youtube.com/watch?v=v9bbbYcgMqQ

陆华

我有一个大胆的想法。。。