不得不提 人形机器人时代将至! 直击GTC2024
出品 | 技术栈(微信号:blog51cto)
人形机器人时代行未来到,由于面前有英伟达。
在备受等候的NVIDIA GTC大会上,随同着令人异常的“扮演方式”出场,NVIDIA首席口头官黄仁勋发表了GR00T名目,这是一个为类人机器人设计的通用基础模型。
由GR00T驱动的机器人被设计成能够了解人造言语,并经过观察举措模拟人类行为。这使它们能够极速学习协调性、灵巧性以及其余无理想环球中有效导航、顺应和互动所需的技艺。
大会的亮点是黄仁勋与九个和他差不多大小的类人机器人一同亮相。在完结他的宗旨演讲时,他由Orange和迪士尼钻研中的驰名Green BDX机器人陪伴,这些机器人始终打断并搅扰他的演讲流程。有了NVIDIA的加持,迪士尼如今开局看起来更像是一家机器人公司。
黄教主示意:“下一代机器人技术很或者会是类人机器人。”他以为,由于这些机器人的模拟训练数据愈加丰盛,这使得它们变得更容易构建。他解释说,这是由于它们是依据人类结构来设计的。“很或者,人类机器人在咱们的环球中会愈加有用,由于咱们发明了一个咱们可以互操作并良好上班的环球,”他说。
幽默的是,GR00T或者是第一个专门为类人机器人设计的基石模型。它接受多模态指令和过去的互举措为输入,并发生机器人口头的下一个举措。强调其多模态性,黄示意GR00T经过人类示例学习,这些示例或者是“视频或虚构理想方式”。
NVIDIA曾经开发了Isaac Lab,这是一个机器人学习运行程序,用于在Omniverse Isaac Sim上训练GR00T,以及Osmo,一个全新的计算编排服务,用于协调DGX系统上的训练上班流程和OVX系统上的模拟。有了这些工具,NVIDIA可以在模拟中训练GR00T,并将零次学习转移到理想环球。
“当天是咱们在物理环球中处置具身AGI(人工通用智能)的登月方案的开局,”NVIDIA的具身AI担任人Jim Fan在X上写道。
1.协作正在开展
NVIDIA正在与顶尖的类人机器人公司协作,如1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics等。最近,它还与Microsoft、OpenAI等一同投资了Figure AI。
几天前,机器人初创公司Figure分享了其第一个类人机器人与人类启动实时对话的视频演示。这个机器人由OpenAI模型驱动,或者是带有视觉的GPT-5,展现了高水平的视觉和言语智能。
在最近的一次性与Lex Fridman的播客中,OpenAI首席口头官Sam Altman发表OpenAI重返机器人畛域:“我以为,假设咱们有了AGI,而在物理环球中成功事件的惟一方式是让人类去做,这有点令人丧气。”
2.监禁Thor的力气
或者是遭到漫威的启示,并与GR00T相响应,NVIDIA开发了一个新的计算平台,名为Jetson Thor,专为类人机器人设计。它能够高效地处置复杂义务,并与人类和机器安保无缝地互动。
该平台的SoC驳回了基于NVIDIA Blackwell架构的新一代GPU,装备了Transformer引擎,提供了800 teraflops的8位浮点AI功能。这使得平台能够高效运转像GR00T这样的多模态生成性AI模型。
不只如此,NVIDIA还发表了一系列预训练的机器人模型、库和参考配件,称为Isaac Manipulator和Isaac Perceptor。后者将协助类人机器人自主导航物理环境,无需预编程的两点间门路。例如,在仓库场景中,假设一个箱子掉落,类人机器人可以自己找到门路,而不用等候人类清算路线。
“有了Isaac Perceptor,咱们领有了令人难以置信的最先进视觉里程计、3D重建和深度感知,”黄仁勋说。另一方面,Isaac Manipulator为机械臂提供了先进的灵巧性和灵敏的AI个性。
NVIDIA正在独裁化机器人畛域,就像它用GPU为LLMs所做的那样。“2024年是具身AI之年”的概念与Figure开创人Brett Adcock发生共鸣,他以为,能够成功复杂义务的先进AI很或者与牢靠的类人机器人配件并行开展,甚至略有上游。