首页 > 科技快讯 > Meta研究类似皮肤新材料和传感器可帮助实现元宇宙雄心

Meta研究类似皮肤新材料和传感器可帮助实现元宇宙雄心

晰数塔互联网快讯
2021-11-02 15:03

腾讯科技讯 11月2日消息，美国当地时间周一，Facebook联合创始人、Meta现任首席执行官马克·扎克伯格（Mark Zuckerberg）表示，一种新的触摸传感器和类似皮肤的塑料材料可以协同工作，可能有助于实现元宇宙雄心。

Meta的人工智能（AI）研究人员与卡内基梅隆大学的科学家共同创造了一种厚度不到3毫米的可变形塑料“皮肤”。这种相对便宜的材料被称为Reskin，它的内部有磁性颗粒，可以产生磁场。当这种皮肤与另一个表面接触时，嵌入颗粒的磁场会发生变化。传感器记录磁通量的变化，然后将数据提供给AI软件，该软件试图理解已经施加的力或触感。

利用机器学习和磁感应，Reskin旨在为长期使用提供廉价、多功能、耐用和可更换的解决方案，采用无监督学习算法来帮助自动校准传感器。扎克伯格在Facebook页面上写道：“我们设计出了高分辨率的触摸传感器，并与卡内基梅隆大学合作，创造了一种薄薄的机器人皮肤。这让我们离元宇宙中真实的虚拟物体和物理互动更近了一步。”

这种皮肤已经在机器人身上进行了测试，这些机器人负责处理包括葡萄和蓝莓在内的软水果。AI系统必须接受100次人类触摸的训练，以确保它有足够的数据来理解磁场变化与触摸之间的关系。

除了Reskin，Meta还概述了在开发用于触摸传感的硬件、模拟器、库、基准和数据集方面取得的更广泛进展。该公司表示，这构成了可以通过触摸理解和互动的人工智能系统的基础。

Meta研究科学家罗伯托·卡兰德拉(Roberto Calandra)和硬件工程师迈克·兰贝塔(Mike Lambeta)在一篇博客文章中表示：“我们通常认为触摸是传递温暖和关怀的一种方式，但它也是感知我们周围世界的一种关键感知方式。触摸为我们提供了通过任何其他感觉无法辨别的信息，例如关于物质的温度、质地和重量，有时甚至是关于其状态的信息。”

Meta的研究科学家阿比纳夫·古普塔(Abhinav Gupta)在媒体电话会议上表示，触摸在很大程度上被AI研究人员忽视了，因为触摸传感器太昂贵或太脆弱，无法获得可靠的数据。古普塔说：“如果你想想人类或婴儿是如何学习的，丰富的多模态数据对发展对世界的理解至关重要。我们正在从像素、声音、触觉、味觉、嗅觉等方面学习。”

他补充说：“但如果你看看AI在过去十年中取得的进步，你会发现我们在像素(计算机视觉)方面取得了巨大进步，我们在声音方面也取得了进步，音频、语音等方面也是如此。但在这一发展过程中却缺少了触觉，尽管接触非常重要。”

古普塔解释称，帮助机器和机器人助理感知将使它们能够理解人类在做什么。Meta的Reskin可以探测到来自小于1毫米宽的物体的力，最小可达0.1牛顿。他说：“我们可以第一次尝试更好地理解物体背后的物理原理，这将有助于Meta构建元宇宙的探索。”

元宇宙要么是互联网的下一次进化，要么是让投资者对某些模糊的创新感到兴奋的最新企业流行语，这些创新可能在未来10年内都不会出现。

但无论哪种方式，科技公司(主要是Meta)都在越来越多地推广元宇宙的概念，指的是人们可以在里面生活、工作和娱乐的虚拟世界。如果你看过电影《头号玩家》(Ready Player One)，你会很清楚元宇宙是什么：戴上计算机化的眼镜，你就被带进了数字世界，在那里一切皆有可能。

如果Meta的元宇宙雄心能够实现，那么它就有可能与虚拟物体互动，并从一块硬件上获得某种物理响应。古普塔说：“当你戴着Meta头盔时，你也希望能提供一些触觉，这样用户就能感受到更丰富的体验。除非你知道人的触觉是什么，或者材料的特性是什么等等，否则你怎么能提供准确的触觉反馈呢？”

触觉研究历史

触觉感知是机器人学中的一个新兴领域，旨在理解和复制物理世界中人类水平的触摸。其目标是通过使机器人能够在从家里到工厂车间的环境中自主学习和使用触摸，从而使机器人变得更高效、更安全、更温和。

Meta在过去的几年里一直在开发触觉传感器，主要专注于机器人抓取的任务。2020年，该公司的研究人员详细介绍了Digit，这是一种高分辨率、低成本、紧凑的触觉传感器，设计成可以安装在多指机器人手上。

Digit的塑料机身带有外壳，既有利于3D打印，也有利于注塑成型。三个RGB LED在弹性体凝胶表面提供照明，该表面是采用硅丙制造工艺定制设计的，表面上平衡了坚固性和敏感度。摄像头和凝胶通过“压配合”连接安装在机身上，这样任何部件都可以换出，外壳可以更换，以适应不同的镜头焦距。

在实验中，研究小组利用Digit使机器人手能够握住并操纵拇指和中指之间的玻璃弹珠。在50次试验过程中，这只手掉下弹珠的几率约为25%。然而，研究人员将其归因于数据不准确和噪音所致，而不是数字设计上的缺陷。

去年6月，Digit的塑料外壳、凝胶和电子产品的制造文件以及用于编程的固件二进制文件在GitHub上开源。Meta如今宣布，它将与麻省理工学院的子公司GelSight合作，开始商业化生产Digit。

古普塔和博士后研究员苔丝·赫勒布雷克斯(Tess Hellebrekers)表示，Reskin背后的目标是提供一个联系数据来源，有助于在一系列基于触摸的任务(如物体分类)中推动AI的发展。通过使用Reskin开发的具有触觉感知技能的AI模型可能会在医疗保健环境中工作，或者抓住柔软的物体。由于Reskin可以与其他传感器集成，以收集视觉、声音和触觉数据，并创建多模式数据集，因此Reskin还可以帮助构建比以前更逼真的世界模型。

古普塔和赫勒布雷克斯表示：“触觉帮助我们驾驭周围的世界。有了它，我们可以收集物体的信息，比如它们是轻是重，是软是硬，是稳定还是不稳定，我们用这些信息来完成从穿鞋到做饭的日常任务。今天的AI有效地融合了视觉和声音等感官，但触摸仍然是个持续的挑战。这在一定程度上是由于对外部触觉传感数据的访问有限。因此，希望将触觉融入他们模型的AI研究人员很难像人类那样利用触觉感知的丰富性和冗余性。”

Reskin是一种嵌入磁性颗粒的可变形弹性体，价格甚至更低，100个单位的生产成本不到6美元。它的厚度只有2毫米到3毫米，可以进行5万多次互动，这使得Reskin非常适合机器人手、触觉手套、手臂袖子甚至狗鞋等各种工具。Reskin还可以为快速操作任务提供高频三轴触觉信号，如滑行、投掷、接球和拍手。当它磨损时，可以很容易地被剥掉更换。

克服重重挑战

值得注意的是，无论是Digit还是Reskin都不是同类产品中的首个触敏传感器。其他公司，包括OmniTact和GelFlex，后者是麻省理工学院计算机科学和AI实验室的机器人抓手，拥有微妙的、类似人类的感官，由LED和两个摄像头组成。新加坡国立大学也使用英特尔的原型芯片开发了触摸感应机器人“皮肤”。

但从历史上看，被称为“软皮肤”的传感材料很难大规模生产，因为它们在使用过程中会发生变化。每个传感器都必须经过校准程序来确定其各自的响应。更大的挑战在于，材料会随着时间的推移而变化，而且会有所不同，这取决于它们的使用方式。这意味着，校准本身也必须适应这些变化。

Reskin消除了软材料和测量电子设备之间的电气连接，从而克服了这些障碍。传感器的磁信号依赖于位置邻近，毕竟电子设备只需要在附近，而不是连接在一起。除此之外，Reskin利用对来自多个来源的数据进行训练的映射函数，使其比传统的映射函数更具概括性和“健壮性”。传感器使用无监督模型，使用少量未标记的数据自动、连续地进行微调。

在无监督学习的情况下，算法将受到“未知”数据的影响，这些数据不存在先前定义的类别或标签。这与监督学习相反，这种情况下，算法在为特定输出注释的输入数据上进行训练，直到它们能够检测到潜在的关系。像那些运行在Reskin上的无监督机器学习系统必须自学对未标记的数据进行分类，处理数据不是从注释中学习，而是从数据的内在结构中学习。

古普塔和赫勒布雷克斯解释称：“我们可以使用未标记数据的相对位置来帮助微调传感器的校准，而不是提供地面真实作用力标签。例如，我们知道在三个接触点中，身体距离较近的两个接触点会有更相似的触觉信号。”总而言之，Reskin开辟了一系列多功能、可扩展和廉价的触觉感觉模块，这是现有系统所不可能实现的。现有的基于摄像头的触觉传感器需要表面和摄像头之间的最小距离，导致设计更加笨重。相比之下，Reskin可以作为覆盖在人类和机器人手和手臂上的皮肤材料使用。

实际应用

为了证明Reskin的实用性，Facebook的研究人员进行了几项实验，表明它可以应用于手部操作、接触定位和其他测力任务。例如，Meta的研究人员通过将Reskin和电路板放在狗鞋的鞋底内，使用Reskin来跟踪狗在休息、散步和跑步过程中施加的力的大小和方向。

古普塔和赫勒布雷克斯称：“我们对可推广的触觉感知的研究促使Reskin成为现实，这种皮肤成本低，结构紧凑，耐用。皮肤很容易更换，就像剥皮和换上新绷带一样，它可以立即使用，我们的学习模型在使用新皮肤时表现得很好。这是一个强大的工具，可以帮助研究人员构建AI模型，为多样化的应用提供动力。”

为了支持Digit和Reskin这样的硬件，Meta今年夏天开源了Tacto和PyTouch，这是一个用于PyTorch机器学习框架的库。Tacto是基于视觉的触觉传感器的模拟器，而PyTouch是用于触摸传感的机器学习模型和功能的集合。

Tacto可以每秒数百帧的速度呈现触摸读数，并且可以配置成模拟不同的传感器，包括Meta自己的数字。模拟器在机器人原型制作、调试和基准测试中扮演着重要的角色，因为它们允许在不需要执行昂贵实验的情况下进行测试。古普塔和赫勒布雷克斯说：“除了能够在模拟中更快地运行实验的好处之外，在触觉传感中，获得合适的硬件以及减少硬件表面的磨损使得模拟在触摸传感中变得更加重要。”

至于PyTouch，它为传感器提供了基本功能，如检测触摸和滑动，以及估计物体姿势。该计划是将其与真实世界的传感器和Tacto相结合，以实现模型的验证以及“Sim2Real”功能，后者将模拟训练的概念转化为现实世界应用的能力。Meta还设想，PyTouch可以让机器人社区使用专门用于触摸感知的模型“作为服务”，研究人员可以连接传感器，下载预先训练好的模型，并将其用作应用程序的构建块。

古普塔和赫勒布雷克斯称：“我们目前正在研究Sim2Real Transfer，用于在模拟中训练PyTouch模型，并将其部署在真实传感器上，以此作为快速收集数据集和训练模型的一种方式。在模拟中，收集包含大量数据的大规模数据集可以在几分钟内完成，而用真正的传感器收集数据需要时间和人力来物理探测物体。最后，我们计划探索Real2Sim方法，从真实数据中更好地调整模拟器。”

在触觉感知方面有一长串障碍需要克服，包括硬件限制，缺乏对哪些触摸功能用于特定任务的理解，以及缺乏广泛接受的基准测试。但Meta断言，触觉方面的改进，无论多么缓慢，都可以帮助推进AI发展，并使研究人员能够制造具有增强功能的机器人。

作为迈向这一目标的一小步，该公司已经发布了Reskin的设计、文档、代码和基础模型，以帮助研究人员使用传感器，而不必收集或训练自己的数据集。卡兰德拉和兰贝塔说：“它还可以释放AR/VR的可能性，并带动工业、医疗和农业机器人领域的创新。我们正在努力实现这样的未来：每个机器人都可能配备触摸感应功能。”

本文来自腾讯科技，审校：金鹿，36氪经授权发布。