跳到正文
WIRED· Will Knight·· 6 天前AI 评分48

我用 GPT-6 Sol 几小时训出一只虚拟机器鸭追猫

I Saw the Future of Robotics in a Virtual Duck That Chases My Cat

AI 导读

WIRED 作者 Will Knight 用 OpenAI 的 GPT-6 Sol、Nous Research 的 Hermes 和 Nvidia DGX Spark,在几小时内训练出虚拟版 Microduck 在房间里走动并识别孟加拉猫,此前同类工作可能要花数周。

正文 · AI 翻译

让我来向你介绍我正在借助 AI 开发的机器猫管家。

我用 OpenAI 的 GPT-6 Sol,教会了 Microduck 的虚拟版本——这是 Pollen Robotics 和 Hugging Face 联合打造的一款可爱机器人——在房间里走动,并识别附近有没有孟加拉猫。(上方视频里,机器人正摇摇晃晃地走向目标猫咪;右上角是它的第一视角画面。)

我还在耐心等待实体的 Microduck——拜托你们快点发货吧——不过模拟环境中的行为相对简单,应该能迁移到真机上。我打算让机器人自动给我的孟加拉猫 Leona 投喂零食,比如让它低头,从 3D 打印的头部储物仓里释放一颗零食。

我只用几个小时就完成了虚拟机器人的编程和训练,说实话,这简直不可思议。以前这类事情可能要花上我好几周才能搞明白。之所以能做到,是因为 OpenAI 最新的模型非常擅长理解和操作物理世界的 3D 表示,并能将其转化为有用的代码、智能体动作和机器人训练。

真正的机器人专家正在用最新模型做出一些了不起的东西。去年 9 月 OpenAI 发布 Astra 时,加州大学伯克利分校教授 Ken Goldberg 和他的学生看到了展示其 3D 图像渲染能力的演示。他们想知道,它能否帮助完成训练各类机器人所需的仿真。这些仿真必须极其精细、极其准确,才能确保复杂行为——比如会跳舞的人形机器人,或能抓握的机械手——忠实地迁移到现实世界。

Goldberg 实验室的一名成员让 Astra 接入了一款名为 Newton 的 Nvidia 工具,给它看了一段真实机器人工作的视频,然后问它能否为这个场景创建仿真。

“让我们所有人都震惊的是,它在一个小时内就生成了一个完整的 3D 仿真,所有参数都设置好了——相机位置、光照、背景、所有材质,”Goldberg 告诉我。

Goldberg 说,Astra 还能通过运行实验并检查结果,把仿真训练机器人过程中大量枯燥的工作自动化。

这正是我在训练虚拟 Microduck 时的发现。除了 GPT-6 Sol,我还用了 Nous Research 名为 Hermes 的智能体框架,以及 Nvidia DGX Spark——一台搭载强大 AI 芯片的个人电脑。

我之前写过用智能体和编程模型来配置、编程和调试实体机器人的经历。通常,这类工作需要相当的专业知识;现代编程模型让这件事变得轻而易举。但 OpenAI 的最新模型远不止会写代码。

它用一款名为 Isaac Sim 的 Nvidia 软件向控制虚拟机器人的模型发送指令,观看机器人动作的视频来评估效果,并就训练方案提出调整建议。

这个过程让我训练 Microduck 学会走路而不摔倒。我最初想让 GPT-6 Sol 教机器人走太空步——我给它喂了一段迈克尔·杰克逊在舞台上滑步的 GIF,它试图模仿——但折腾了几个小时后,只练成了一种非常欢快的倒退小跑。(机器人还没把我们彻底比下去。)

与Goldberg合作过的英伟达研究员Jim Fan表示,如今AI控制机器人的方式,与软件智能体的运作方式如出一辙。大语言模型可以调用经过训练、用于控制物理动作的模型——即视觉语言动作(VLA)模型——就像它们在电脑上调用不同的软件一样。

本周,Fan、Goldberg等人开源了一个面向机器人的智能体框架,名为Aspire,它能让机器人自行发现并运用新技能。举个例子:GPT-6 Astra自己摸索出如何用一对机械臂还原魔方。

“它把魔方拿起来,试着拧了一下,但角度不对,”Fan说。“接着它进行了非常非常长时间的推理,最终成功还原,因为它在过程中逐渐学会了这些技能。”

本周在得克萨斯州奥斯汀举行的机器人学习会议(CoRL)上,Fan发表了主题演讲,谈到一个令人惊叹的发现:AI模型可以自动完成大量工作,让机器人做出复杂的事情。Fan还展示了一个演示:Astra被赋予一条机械臂的控制权,并被要求画一幅金门大桥。它利用旁边的颜料和画笔,顺利完成了任务。

当然,要让机器人稳定、高效地工作仍然极其困难,需要大量工程专业知识。我那只机器鸭上的视觉系统还不够可靠,无法用于实际产品。

尽管如此,用AI训练机器人的便捷与速度,可能很快对制造业和电子商务产生巨大影响。Goldberg说,已有多家工业机器人和自动化公司对这一方法表现出兴趣。

就像几年前的“氛围编程”一样,随着爱好者和工程师意识到给机器人编程和训练有多么简单,我们很可能在“氛围机器人”领域看到突破。而且,只要我能把机器人助手调教好,Leona也许再也不用断零食了。


本文出自 Will Knight 的AI Lab新闻通讯。往期通讯可在此处阅读。

来源:WIRED · wired.com