
新智元报道
编程智能体已经能在数字世界完成复杂任务。
借助编程接口,它们也可以指挥物理世界中的机器人。
但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。
于是有一个基础问题:
通用编程智能体能完成哪些机器人任务?在哪些物理约束下能完成?又会在哪里失败?
为回答这个问题,西北大学、卡内基梅隆大学等 8 所高校的研究者提出了Embodied First Exam(EFE,具身第一考):一个把各种编程智能体接入仿真机器人的统一评测框架。

图1|EFE 总览:任务规模、运行命令与三种模式

论文链接:https://arxiv.org/abs/2611.12177
网站与榜单(最新结果以网站为准):https://www.embodied-first-exam.ai
代码:https://github.com/mll-lab-nu/embodied-first-exam
视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data
这项工作有四项贡献:
-
一套统一考卷:规模大、种类多、难度高。1156 个任务、47 种机器人,远不止桌面抓取放置;最强的编程智能体在 456 项标准模式核心测试上也只解出一半。
-
三种评测模式,量出离真机还有多远。在同一批 391 个核心任务上,最强者在特权模式(读取完整仿真状态、不限次重置)下解出 80%,在标准模式(只靠传感器、默认不能重置)下只有 47%。
-
统一的基础设施。一条命令即可开考,换模型、换智能体框架只需改两个参数;怎么控制机器人由智能体自己决定:直接下指令、编写控制程序,或者训练策略。
-
系统分析:不只给分数,还找原因。对 GPT-6 Astra 的对照实验中,补上重置比补上精确状态更管用:看得准,不等于做得准;逐阶段标注 10 个智能体的 6027 次失败,不同智能体常常败在同一步;足球任务中,有 GPU 和训练库时,智能体多会自己训练策略。
统一考卷
规模。EFE 包含 1156 个任务、2288 项测试(一个任务在一种模式下考一次,算一项测试),覆盖 35 个任务集、23 个仿真器和 47 种机器人。机器人分为 8 类:单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器和肌肉骨骼模型。
多样性。除了改编自已有基准的 26 个任务集,团队新建了 9 个任务集、411 个任务,覆盖桌面抓取放置之外的能力:解绳结、组装宜家家具、用灵巧手翻书、用画笔临摹画作;接住抛来的球,打完一整场乒乓球或击剑比赛;只凭一张完成后的目标画面完成任务;识别并拒绝危险请求;把控制器部署到动力学未知的仿真器上。

图 2|9 个新建任务集与 26 个改编任务集
例如,在标准模式下,GPT-6 Astra 只凭传感器读数控制人形机器人打乒乓球,以 5 比 2 赢下整场比赛:

易用性。所有任务用同一种格式打包,各家智能体框架(harness)无需改动即可接入。一条命令即可开考:
harbor run -d embodied-first-exam -a codex -m openai/gpt-6-astra
换智能体框架或模型,只需改-a 和-m 两个参数,例如换成 Claude Code 中的 Claude Opus 5.5:
harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus-5-5
每次尝试的日志都在网站公开,大多可以逐步回放。
难度。团队选出456个高难度任务作为核心集,排除了简单任务和初筛模型已解出的任务,评测 10 个智能体,每项测试运行一次。在 456 项标准模式核心测试上,最强的 Claude Fable 5.2(Claude Code)解出50%,GPT-6 Astra(Codex)为 34%,GPT-6.1 Sol(Codex)为 32%,Claude Opus 5.5 和 Gemini 4 Argon 分别为 25% 和 24%,Kimi 3.1 Pro 为 10%,其余四个都不到7%。
实时模式更难:在 54 个同时考标准和实时两种模式的任务上,实时模式下近一半(46%)的测试无人解出,标准模式下这一比例是 35%。

图3|10 个智能体在核心集上的成功率,括号内为解出数
闭卷时,没有通吃的赢家
最强的也只解出一半,剩下的题谁能解?
下图把每一次尝试都画了出来:每行是一个智能体,每列是一项测试;灰到黑的格为解出(越深花费越高),最浅的底色为失败。上半部分是标准模式,下半部分是特权模式。

图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试
标准模式的 456 项测试中,169 项没有任何智能体解出。其余的题,也没有哪个智能体能全部包揽:另外四个强智能体合计解出了 60 项 Claude Fable 5.2 没有解出的测试。
例如,GPT-6 Astra 解出的 157 项里,有 39 项 Claude Fable 5.2 没有解出,其中一半以上来自安全判断(Embodied Safety Exam)、家务(BEHAVIOR-1K)和绘画(RoboPaint)三个任务集;
Claude Opus 5.5 解出的 114 项里,有 46 项 GPT-6 Astra 没有解出,其中不少是搬运物体的任务。题目足够多样,即使最强的智能体,也有别人能解而它解不了的题。
特权模式下,各智能体解出的题大多重合:391 项测试中只有 43 项无人解出,Claude Fable 5.2 一个就解出了所有已解测试的 89%。每项测试只运行一次,上面的差别有一部分可能来自运行之间的波动:GPT-6.1 Sol 一次运行解出的标准模式测试,再运行一次只能解出其中的 56% 至 70%。
同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么?
三种评测模式
同一批任务,80% 降到 47%
同一个任务最多有三种考法,从开卷到闭卷逐级收紧:

图 5|三种模式下智能体可获取的信息与评分方式
-
特权模式(Privileged):读取完整的仿真状态,不限次重置,可以反复试错,相当于开卷考试。成功率可看作近似上限。
-
标准模式(Standard):只有传感器观测,默认不能重置,相当于闭卷考试,对应真实机器人的条件。
-
实时模式(Realtime):在标准模式基础上,智能体思考时环境照常运行。
三种模式下,评分程序都运行在智能体无法干预的地方。

图 6|391 个同时有两种模式的核心任务:各智能体在哪种模式下解出
在这 391 个任务上,Claude Fable 5.2 特权模式解出311 个(80%),标准模式只解出47%。特权模式解出的 311 个任务中,有 136 个换到标准模式后失败。
需要精确对准的步骤,换到标准模式后最容易出错。例如,Claude Opus 5.5 给风扇装前罩:特权模式下,它把前罩对正装上,偏差 0 度;
标准模式下,它把前罩举在偏离风扇轴线 36 至 39 度的位置,而安装只允许 5 度偏差,继续往里推,整个风扇都被推动了。

图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,下为标准模式,红色标出出错处
系统分析
差距从哪来,败在哪一步
成绩只说明做没做到。EFE 还逐项分析了原因:差距从哪来,失败发生在哪一步,智能体会不会换一种做法。
差距从哪来:看得准,不等于做得准
标准模式比特权模式少了两样东西:所有物体的精确状态,以及不限次重置。哪一样更关键?团队以 GPT-6 Astra 为对象做了对照实验,每种条件运行一次。它在这 391 个任务上的差距比 Claude Fable 5.2 更大:特权模式为 79%,不补任何能力时只有 29%(341 个任务按标准模式、50 个按实时模式考,和第一节的 34% 不是同一个分母)。
团队在标准模式的接口上为它逐项补回特权模式的能力:补上精确状态,升到45%;补上不限次重置,升到53%;两者都补,达到68%,接近特权模式的 79%。

图 8|左:GPT-6 Astra 逐项补回特权能力后的成功率;中:各类阶段在特权和标准模式下的失败率;右:GPT-6 Astra 基线运行中失败的测试,按失败阶段分为精细(黑)和粗略(灰),各条件下解出的比例;第一行是对照,不补能力,只是再考一次
补上精确状态,等于让它看得准;补上重置,等于让它能反复试。后者更管用:有了重置,三分之二(66%)的成功来自从中途存档处重新开始的回合,智能体只重试难的那一段,不必从头再来。
按失败阶段分开看(图 8 右),差别更明显:败在抓取、放置等粗略阶段的测试,补上精确状态就多解出不少;败在组装、对准位姿等精细阶段的,补上精确状态几乎没有帮助,补上重置才明显有用。看得准,不等于做得准。
败在哪一步:不同智能体,常常败在同一步
做不准,具体卡在哪一步?EFE 把 427 个核心任务拆成阶段,每个阶段是任务要求的一项环境变化,例如「番茄放进冰箱」。团队用编程智能体标注了 10 个智能体的 6027 次失败尝试,找出每次失败发生在哪个阶段。

图 9|左:失败阶段的集中程度;右:各类阶段一旦到达后的失败率
最有启发的发现有两项:
-
失败往往集中:换智能体、换模式,常常败在同一个阶段。只看五个强智能体:标准模式下,同一项测试里不同智能体的两次失败,平均55% 落在同一阶段;如果失败阶段随机分布,只有 30%。这个阶段常常就是任务的第一个阶段;但排除两种模式都败在第一阶段的任务后,仍有59% 的任务在两种模式下最常见的失败阶段相同;随机分布时只有9%。
-
改变物体本身、让机器人自己移动的阶段最难。擦拭等材料类阶段一旦到达,失败率为 56%;行走等身体类阶段为 39%;开门等机构类阶段为 17%。这些类别多集中在特定任务集和机器人上,因此这组数字还不能说明类别本身导致了失败。
换一种做法:足球任务里,给了 GPU,智能体多会自己训练策略
做不准的时候,智能体会不会换一种做法?EFE 不规定控制方式。智能体可以直接控制:发一小段动作,看一眼画面,再决定下一步;也可以编写控制程序,或者训练策略;还可以混合使用。

图 10|三种控制方式及混合示例,各附智能体的一段命令或代码
平时,智能体很少训练策略;但条件具备时,它们会主动训练。
足球任务有两个版本,场景和对手相同,智能体都要逐关节控制两个人形机器人。GPU 版另外提供 GPU、强化学习库、一份能在 GPU 上运行的训练用比赛环境,并在说明中给出一段训练示例;CPU 版都没有。
标准和实时模式下,GPU 版的 28 次尝试中有 25 次用强化学习训练了策略,赢下的 8 场比赛全部来自训练出的策略;CPU 版的 28 次尝试中只有 1 次训练了策略,智能体多手写步态,只赢了 1 场,是平局后的点球大战。
以标准模式下的 GPT-6 Astra 为例:有 GPU 时,它训练行走和控球策略,以10 比8获胜;只有 CPU 时,它手写步态,机器人摔倒 59 次,以3 比 13提前落败。这些次数里有智能体框架对比实验的运行,所以有的模型不止出现一次;两个版本也同时在多处不同,仅凭这一项任务,还不能确定是哪一处差别起了作用。

图 11|足球任务中的 GPT-6 Astra(标准模式):上为有 GPU,训练策略后 10 比 8 获胜;下为只有 CPU,手写步态,3 比 13 提前落败
从仿真到真机:穿环过线
仿真之外呢?标准模式只给智能体传感器读数和控制接口,同样的接口也能接到真实机器人上。团队让 GPT-6 Astra 和 Claude Opus 5.5 通过离散命令(上下左右平移、左右旋转)控制一台真实机械臂,玩穿环过线游戏:机械臂夹着金属环,沿一根弯曲的金属丝从一端走到另一端;环一碰到金属丝,灯亮、蜂鸣器响,本次失败。

图 12|真实机械臂上的穿环过线。左:上排 GPT-6 Astra,下排 Claude Opus 5.5;右:两个智能体各 8 次尝试的完成进度
每个智能体连续玩 8 次。前 4 次的平均进度,GPT-6 Astra 约为 65%,Claude Opus 5.5 约为 35%;后 4 次分别升到约 94% 和 63%。GPT-6 Astra 每一次都高于 Claude Opus 5.5,并在第7、8 次走完了全程。这项演示只有一个任务、每个智能体一组尝试,没有评分程序,不计入考试成绩。
局限与下一步
每项测试只运行一次;大部分阶段标签由 GPT-6.1 Sol 标注,它本身也是受测智能体,标注了自己的尝试,且与 GPT-6 Astra 同属一个系列;除真机演示外,结果都来自仿真;改编自公开基准的任务,部分成绩可能来自模型记住的公开解法。
团队计划多次重复运行核心测试并给出置信区间,增加实时任务,并通过标准模式的接口,在真实机器人上系统评测。
能读取完整状态、不限次重置时,最强的编程智能体已能解出八成难题;换成真实机器人的条件,就不到一半。在 GPT-6 Astra 的对照实验中,补上重置比补上精确状态更能缩小差距,而真实机器人恰恰很难随时重置。
参考资料:
https://arxiv.org/abs/2611.12177
编辑:LRST
