LiberAI 发布世界动作模型 Liber-0，220 万小时人类数据支撑长程 Zero-shot

如果让 GPT 给机器人出一套题，会发生什么？

题目可以越出越难。但有个条件：不能针对这些题，提前给机器人补课。

LiberAI 把这个设想搬进了现实。

此次发布的世界动作模型 Liber-0，接受了一套由 GPT-6 提出的 60 个任务测试。每个任务试验 10 次，共计 600 次。没有针对目标任务采集机器人示范数据进行训练，模型直接上手。

结果，Liber-0 的 Zero-shot 能力一路从抓取放置，延伸到更复杂的多步骤灵巧操作。

这背后，是超过 220 万小时的人类经验。LiberAI 将人每天都在积累的灵巧操作经验，转化为机器人可以调用的泛化能力。

而在此次发布的另一段完整视频中，Liber-0 又接下了一份更难的工作：做奶茶。

机器人开始能够根据不同口味的订单，自主组合操作技能，完成长程奶茶制作，全程一镜到底。

从接住完全没练过的题，到接下一杯奶茶订单，Liber-0 的 Scaling 路径，正在展现出从通用能力走向真实场景泛化应用的巨大潜力。

Zero-shot 的题，这次让 GPT 来出

我们已经看过不少机器人演示视频。

让人好奇的往往是视频背后的事：它为这个任务练了多久？换一种物体还能不能做？那个看起来很流畅的长流程，究竟有多少能力可以迁移到全新的任务上？

LiberAI 团队请 GPT-6 提出 60 个任务，组成一套零样本测试。任务分成三组，每组 20 个，难度逐级上升。

• 第一组是抓取放置，也就是 Pick-and-Place，简称 PnP，考察基本的识别与操作能力。
• 第二组是 Non-PnP，要求机器人完成超出简单抓取的操作，处理更复杂的接触关系和物体状态变化。
• 第三组则是最具挑战性的多步骤、长程 Non-PnP 任务。到这里，机器人需要连续协调多个灵巧动作，将任务推进到最终结果。

「零样本」的设定也很明确：模型没有接受针对这些目标任务采集的机器人数据训练。

Liber-0 在三组任务上的成功率分别为 63.5%、34.0% 和 10.5%，总体成功率达到 36.0%。其中最具突破性的是多步骤长程任务：在没有目标任务机器人示范的情况下，Liber-0 已经能够零样本完成做饭、打包食品袋等一系列连续的灵巧操作。

长程任务的挑战远不止多个动作的简单叠加。机器人需要理解动作之间的依赖关系，在不断变化的物理环境中调整抓握、接触与操作策略，并克服误差累积，最终完成整个任务。

10.5% 的成功率虽然仍处于早期阶段，却标志着一项重要的里程碑：零样本泛化开始从单一动作延伸至复杂的长程灵巧操作，并展现出应对真实场景中复杂未知任务的潜力。随着 LiberAI 人类经验数据与模型规模持续 Scaling，Zero-shot 能力有望进一步扩展至更复杂、更多样的任务。

在同一套 60 个任务中，LiberAI 还测试了 Astra 直接作为机器人策略的表现，三组任务的成功率仅为 8.3%、5.0% 和 1.7%。实验显示，通用推理模型在精细物理操作上仍面临显著挑战，也凸显了物理模型的价值。

Liber-0 已支持接入 Astra 等上层 Agent，由 Agent 跟踪任务状态、动态调整中间目标，再由 Liber-0 将规划转化为实际的灵巧操作。

Liber-0 在长程任务上的 Zero-shot 突破，也让这一组合展现出更大的想象空间：上层 Agent 负责理解和规划未知任务，Liber-0 则提供可泛化的物理执行能力。随着人类经验数据与模型能力持续 Scaling，机器人有望将越来越多从未训练过的复杂任务，自主拆解并转化为真实行动。从单一技能的零样本泛化，到复杂长程任务的自主规划与零样本执行，通向真正通用机器人智能的路径，正在变得更加清晰。

看完演示，你也可以给它出一道题。

有意思的是，LiberAI 还把物体级零样本测试做成了一个交互式在线模拟器（sim.liberai.work）。用户可以自行上传物体，在虚拟环境中查看 Liber-0 对其进行操作。它考察的是物体级零样本迁移，与前面的 60 项任务级零样本测试形成互补。

这让模型发布多了一个很有意思的环节：测试对象可以由屏幕前的你来提供。

任何人都可以拿自己的物体，观察模型能否应对：哪些形状容易操作，哪些物体会让它犯难，已有经验又能迁移多远。

220 万小时人类经验究竟学出了什么？

现在，你可以带一道自己的题，去看看它的表现。

220万小时人类经验的背后，是何 Scaling 链路？

220 万小时，是一道数据规模与工程能力的双重门槛。

Liber-0 的人类经验数据中，人类视频达到 200 万小时，将此前 DYNA-2 展示的百万小时量级进一步推高。支撑这一规模的，是 LiberAI 完整的自动化数据管线与数据 Infra。

把海量人类视频交给模型学习，听起来很自然。如此丰富的经验，为什么不能直接拿来训练？

难点就藏在「直接」里。视频里能看到一只手转动了物体，却未必能看清每根手指的位置。遮挡、视角、深度误差，都会让动作还原变得困难。

LiberAI 的思路，是让人类经验真正迁移到机器人动作上。

在数据 Recipe 中，一个关键角色是自研的 LiberSense Glove：它以精确的 Action Grounding，为海量人类视频补上从「看见操作」到「学会行动」的关键连接。

LiberSense Glove 是一套轻量化可穿戴采集系统，通过直接记录手部姿态与运动轨迹，配合第一视角和双腕部摄像头，同步捕捉「人看到了什么」与「手如何行动」。

互联网里蕴藏着丰富的操作经验，却普遍缺少精确的动作监督。LiberSense Glove 提供了一批可靠的 Action 锚点，帮助模型把画面中的物体变化与具体的手部运动联系起来，进而撬动更大规模视频中的经验。高质量动作数据由此成为一种「催化剂」，让海量人类视频的价值进一步释放到机器人操作上。

这对攀登灵巧操作这座「珠峰」尤其关键。多指协同、精细接触、连续调整，都对动作监督提出了更高要求，而灵巧手遥操作数据又难以规模化获取。

LiberSense Glove 为此打开了一个更广阔的入口：直接向每天都在熟练使用双手的人学习，让丰富的人类操作经验成为灵巧能力持续增长的来源。

目前，这套设备已批量进入 in-the-wild 的真实工作与生活场景。采集现场无需配置机器人，人只需佩戴设备完成操作，即可留下可供模型学习的经验。

人类双手每天完成的工作，正成为机器人攀登灵巧操作「珠峰」的阶梯。

本体差异能否成为下一个 Scaling 维度？

从遥操作到 UMI，一种常见思路是让采集端尽可能接近部署端：面对本体差异，大家首先想到的是如何缩小它。

LiberAI 则进一步追问：如果把「身体有什么不同」直接告诉模型，差异本身能否成为模型能力增长的来源？

为此，Liber-0 创新性地引入统一 Embodiment 表征，将人的身高、臂长、手部几何，以及机器人的几何与运动学条件，纳入动作预测的上下文。

模型既学习「要完成什么」，也学习「不同的身体应当如何完成它」，从不同身体执行同一技能的经验中，建立身体条件与动作之间的联系。

这让 Embodiment 有机会成为全新的 Scaling Axis。

除了增加数据量，还可以扩大身体形态的覆盖，让更多人的操作经验参与模型能力的增长。LiberAI 的实验也提供了支持：在手套数据总量不变的条件下，增加示范者的形态覆盖，机器人操作表现仍持续提升。

本体差异由此成为一种值得主动扩展的训练资源，也为技能跨越不同身体、迁移到机器人身上，打开了新的可能。

全栈的价值不仅在于打通各个环节，更在于让每个环节的进步相互放大。 更精准的动作数据释放海量人类视频的训练价值，更丰富的身体形态拓展模型的泛化边界，而模型能力的提升又能反过来指导数据采集与本体设计。

通过数据、模型与本体的协同 Scaling，LiberAI 正在将人类经验的规模优势转化为物理智能的增长引擎。

智能的涌现： 人类动作示教可「杀死真机」？

Scaling 的关键，在于让每一份数据、每一分算力都带来更高的能力回报。

哪些数据最值得投入、最能推动模型能力增长？LiberAI 用一系列对照实验，为这笔 Scaling 的「投入产出账」寻找答案。

LiberAI 对自研手套数据、互联网人类视频、开源第一视角数据等不同来源进行了对照实验。模型分别完成预训练后，再使用相同的机器人数据进行后训练。

这些实验采用 0-100 的平均进度分记录表现：任务完整完成可以得分，完成部分关键步骤也会计入评分。

在所比较的数据源中，手套数据表现出最陡峭的性能增长趋势。当数据规模从 1000 小时扩展到 10000 小时，PnP 和 Non-PnP 的平均进度分分别增加 14.7 分和 13.1 分。

对需要精细接触和持续操作的 Non-PnP 任务来说，这个结果尤其关键，准确的动作监督开始体现出价值。

但接下来这组实验更能说明问题。

团队先只给模型提供 PnP（抓取放置类）的机器人示范。此时，模型在 Non-PnP 任务上的平均进度分只有 2.2。

随后，加入人类通过手套采集的 Non-PnP 操作数据。在没有补充相应机器人示范的情况下，分数却提升到了 47.5。

再加入同时覆盖 PnP 和 Non-PnP 的完整手套数据，分数进一步达到 54.6，已经接近使用完整两类机器人示范训练的参考结果 56.3。

这组实验最有分量的地方在于技能从哪里来。

机器人示范没有提供相应的 Non-PnP 行为，模型却通过人的操作获得了这类能力。手套数据带来了机器人示范未覆盖的操作技能，人类物理数据开始承担「教会新技能」的角色。

如果这种迁移方式继续扩展，技能采集的空间也将随之扩大：许多机器人还不熟悉、但人已经很擅长的操作，有机会通过人类示范进入模型能力。人类可以更直接地参与新技能的采集，技能增长对真机遥操作资源的依赖也有望进一步降低。

这些实验从不同角度，验证了人类经验作为可扩展技能来源的价值。LiberSense Glove 让人类示教成为低成本、轻量化的技能入口。

随着采集深入真实工作场景，人类日常操作就能成为模型学习的素材，帮助 LiberAI 打通「人类经验示教—模型训练—部署验证」的快速路径，将人类经验的规模优势进一步转化为商业化落地的速度优势。

下一站，不止一杯奶茶

零样本能力让人看到通用性的潜力。到了具体应用场景，问题就更实际了：能不能完整执行一套复杂流程？面对新的需求，又能否灵活调整、完成任务？

LiberAI 给出的展示是做奶茶。

经过少量后训练，Liber-0 已经能够执行长程奶茶制作任务，并根据不同口味的订单组合操作技能。

值得关注的是两个层面。

首先，是连续复杂灵巧任务的执行。

制作流程涉及多个形状不规则的物体和一系列连续操作，从拿取杯子、接冰块，到使用勺子精细添加小料、挤出糖浆、添加茶底等。只有各个环节顺利衔接，才能最终完成一杯奶茶的制作。

其次，是订单变化。

一杯奶茶看起来只是一个任务，但口味不同，配料组合和制作流程也会随之变化。模型需要根据新的订单要求，调用并组合已经学会的操作技能。

这正是组合泛化的看点：同一套技能能够随需求变化，组合成不同的完整任务。

对实际部署而言，这种能力很重要。用户不会永远下同一张订单，场景也不会总按同一种方式重复。能够从已有技能出发，适应不同的组合需求，意味着模型有机会覆盖更丰富的应用场景，减少逐项开发与适配的成本。

做奶茶还远不是商业部署的终点，但它已经直观展现了通用能力走向具体应用的一条路径：通过预训练 Scaling 积累泛化能力，以少量后训练适配具体流程，再通过组合泛化覆盖更多样的需求。

从 GPT 出题，到机器人接单，Liber-0 展示的能力正在沿着这条路径向前延伸。

成为物理世界的一部分

回看 Liber-0 的发布，真正值得关注的不只是一次模型性能的突破，而是 LiberAI 正在验证一条通向通用物理智能的 Scaling 路径：让海量人类经验成为物理 AI 的能力来源，让机器人逐步摆脱对特定任务示范的依赖，自主应对越来越多未知的物理世界任务。

从 GPT 随机出题下的长程 Zero-shot 突破，到与 Astra 等 Agent 结合，实现自主规划与灵巧执行，再到完成不同订单的奶茶制作，Liber-0 正在让通用泛化能力一步步走向真实应用。从单一技能的零样本泛化，到复杂长程任务的自主组合与执行，机器人灵活应对未知任务的未来，已经初现曙光。

每一段人类经验，都蕴藏着智能的一块拼图。每一次观察、每一次触碰、每一次与物理世界的交互，都承载着人类积累的物理知识。

LiberAI 正在将这些散落于亿万日常瞬间的经验汇聚起来，让人类智能跨越身体的边界，从理解世界走向与世界交互，真正成为物理世界的一部分。

点击「阅读原文」跳转阅读完整技术 Blog：

https://www.liberai.com/blog/liber0