在上一阶段快报中，RoboCasa-GR1-Tabletop 场景下六个公开模型的统一接入、统一评测配置与首轮标准化结果已经完成，基准环境、任务设置与主要指标体系也已初步建立。在此基础上，EmbodiedCLUE-VLA 具身智能评测基准进一步从“评测链路打通”推进到“结果分析与能力比较”阶段，重点围绕六个模型在统一 benchmark 下的整体表现、任务分布差异、中文支持情况以及综合评分方式展开系统整理。

SuperCLUE，公众号：CLUE中文语言理解测评基准具身智能（大脑）桌面操作场景模型统一评测进展快报 | EmbodiedCLUE

# 评测概览

1.模型评测总表

2.基础能力评分

4.象限图

一、评测内容

• 成功率，记为 (p )，包含原生英文成功率（p_en）、原生中文成功率（p_cn）、转换中文成功率（p_embed）：

• 平均步长，记为(l )，范围为：

• 平均任务奖励，记为 (r )，范围为：

• 平均耗时，单个episode在评测环境下的平均运行时间，单位为(s)。

从总体上看，上述四类指标分别对应四个维度：完成性、效率、过程质量与运行开销。其中，成功率与平均步长共同构成对“任务完成能力”的核心描述；平均任务奖励用于补充过程质量信息；平均耗时则用于反映评测成本。

三、评测任务

1.评测总表

下附原生中文 cn 大类任务模型评测表：

下附转换中文 embed 大类任务平均评测表：

四、评测评分

1. 模型基础能力评分

综合考虑完成性、效率与过程质量三项信息后，评测基准给出模型基础能力评分线性加权计算公式：

其中：(p)：成功率；(l )：平均步长；(r )：平均任务奖励。采用 0.70 / 0.20 / 0.10 的权重组合，主要基于以下三条原则：

(1)完成任务优先于完成得是否高效。

(2)平均步长比平均任务奖励更能直接反映效率差异。

(3)平均任务奖励与成功率、步长之间存在一定相关性。

基于上述考虑，这一权重组合可以概括为：完成性 > 效率 > 过程质量这一排序与桌面操作任务的评测逻辑是相一致的。

2. 模型中文适配度评分

综合考虑原生中文、转换中文能力，评测基准给出模型中文适配度评分线性加权计算公式：

3.评分排行

为了方便可视化评分信息，下附模型基础能力得分、模型中文适配度得分图：

为了进一步反映模型总体得分情况，下附模型评分总分象限图：

整体而言，该图表明当前第一梯队模型的竞争已不再仅由英文 benchmark 成绩决定, 国内模型 在多个维度上均实现了大幅度领先；在面向国内生产生活场景的实际应用需求下，模型的中文适配度也应被视为与基础任务能力同等重要的核心评价维度之一。

如果你对某个模型的细节、任务定义或评测方式感兴趣，欢迎随时交流～

# 加入社群

一、评测统一实验设置

1.基础评测设置

本次评测统一基于robocasa-gr1-tabletop-tasks场景进行。该场景建立在 RoboCasa 与 robosuite 之上，在MuJoCo仿真环境中提供标准化的桌面操作任务、机器人配置、观测接口与动作下发协议，从而保证不同模型面对的是相同的任务定义、相同的观测形式、统一的动作空间与一致的终止条件。

在实验设置上，所有模型均采用相同的测试任务集与随机种子设置。具体而言：

n_steps（最大步长）= 60;n_envs（并行环境数）= 5；max_episode_steps（最大交互动作数）= 720；n_action_steps（单步推理执行动作数）= 12；

所有模型均通过统一环境接口完成推理、动作下发与结果统计。

这一设置的意义在于：评测结果不再依赖单次 demo 是否“跑得漂亮”，而是建立在统一任务、统一 seed、统一终止条件和统一日志统计之上，从而使不同模型之间的横向比较具备更强的公平性与可复现性。

2.中文评测设置

围绕 RoboCasa-GR1-Tabletop 的中文能力评测，本评测采用两条并行路线：其一是原生中文直传，其二是基于 embedding 的中英文文路由转换。

• 原生中文直传是指直接将中文任务指令输入模型，观察模型在不借助外部显式翻译模块时的任务执行表现。该测试更接近模型本体的原生中文能力，它直接考察中文输入是否能够通过模型内部表示，继续被正确转化为动作决策。在下文的评测表中标记为(cn)。

• 与原生中文直传不同，embedding 路由转换并不要求模型本体直接“理解任意中文”，而是通过独立的中文语义匹配模块，将自由中文表达自动转换到标准任务模板，再交由策略模型执行。在下文的评测表中标记为(embed)。在输入接口补齐的基础上，本评测进一步构建了面向 24 个 RoboCasa GR1 Tabletop 任务的中英文任务模板注册表。对于每个任务，系统均定义了标准英文任务描述、标准中文任务描述，并建立了任务环境名、任务名与双语模板之间的一一对应关系：

ENV_TO_EN_INSTRUCTION: Dict[str, str] = {    "gr1_unified/PnPCupToDrawerClose_GR1ArmsAndWaistFourierHands_Env":        "pick up the cup, place it into the drawer and close the drawer.",    "gr1_unified/PnPPotatoToMicrowaveClose_GR1ArmsAndWaistFourierHands_Env":        "pick up the potato, place it into the microwave and close the microwave.",    "gr1_unified/PnPMilkToMicrowaveClose_GR1ArmsAndWaistFourierHands_Env":        "pick up the milk, place it into the microwave and close the microwave.",    "……":        "……",    }ENV_TO_ZH_INSTRUCTION: Dict[str, str] = {    "gr1_unified/PnPCupToDrawerClose_GR1ArmsAndWaistFourierHands_Env":        "拿起杯子，把它放进抽屉里，并关上抽屉。",    "gr1_unified/PnPPotatoToMicrowaveClose_GR1ArmsAndWaistFourierHands_Env":        "拿起土豆，把它放进微波炉里，并关上微波炉门。",    "gr1_unified/PnPMilkToMicrowaveClose_GR1ArmsAndWaistFourierHands_Env":        "拿起牛奶，把它放进微波炉里，并关上微波炉门。",    "……":        "……",}

为了避免将“中文理解误差”与“策略执行误差”混在一起，本文没有直接使用端到端 rollout 结果来评价中文支持，而是单独构建了一套面向中文 embedding 的离线泛化测试集。该测试集覆盖 24 个任务，每个任务设计 30 条未出现在 embedding 候选库中的中文描述，总计 720 条中文测试样本。

这些测试样本不仅覆盖标准表达，还进一步包含口语化表达、简单句表达和长难句表达等多种语言风格，从而使评测结果不仅反映“中文能否匹配任务”，也能够反映“中文语义路由在不同语言风格下的稳定性”。这种测试集构建方式，使中文支持具备了独立评测和独立分析的条件。以下为其中一个任务的测试样本示例：

"gr1_unified/PnPCupToDrawerClose_GR1ArmsAndWaistFourierHands_Env": {    "task_name": "PnPCupToDrawerClose",    "instruction_en": "pick up the cup, place it into the drawer and close the drawer",    "instruction_zh": "请把杯子放进抽屉里并关上抽屉。",    "zh_candidates": [      "请将杯子放入抽屉内并关上抽屉。",      "拿起杯子，放进抽屉，再把抽屉关上。",      "把杯子拿起来放入抽屉，然后关闭抽屉。",      "请拾起杯子，置于抽屉中，随后关上抽屉。",      "需要你把杯子放进抽屉，并关好抽屉。",      "请执行：取杯子，放抽屉，关抽屉。",      "把杯子放到抽屉里，再将抽屉合上。",      "请你把杯子收纳进抽屉，然后关上。",      "杯子放抽屉里，再关上。",      "把杯子搁抽屉，关门。",      "杯子放进去，关抽屉就行。",      "把杯子放抽屉，顺手关上。",      "杯子放抽屉里，关好它。",      "放杯子，关抽屉。",      "杯子搁里头，门带上。",      "把杯子收抽屉，关。",      "请你小心地拿起那个杯子，然后平稳地放入抽屉内部，最后轻轻地将抽屉推回去并确保完全关闭。",      "请先取杯子，再将其稳妥地放置于抽屉之中，随后缓缓推合抽屉直至关严。",      "需要你完成以下动作：拾起杯子，放入抽屉，再将抽屉门关闭，整个过程需保持稳定。",      "麻烦你把杯子从桌面上拿起来，放进抽屉的适当位置，之后把抽屉关好，不要留缝隙。",      "请你以轻柔的动作拿起杯子，放入抽屉内，然后用手将抽屉推入，直到听到咔哒一声关好。",      "请执行如下操作：拿起杯子，置入抽屉，关闭抽屉，动作连贯且平稳。",      "你需要将杯子从原处拿起，放入抽屉内，随后关闭抽屉，确保抽屉完全合上。",      "请你先拾取杯子，再放入抽屉，最后关上抽屉，整个过程要细致。",      "杯子放抽屉里，门关上。",      "把那个杯子搁进抽屉，再把抽屉推上。",      "关抽屉前，先把杯子放进去。",      "劳驾您把杯子放进抽屉，再帮忙关一下门。",      "杯子放抽屉，完了关门。",      "把杯子放到抽屉里面去，然后记得把抽屉关上啊。"    ]  },

为了区分差异度，后续评测时每个模型从每个任务的泛化中文测试样例中随机抽取10条（共240条）用于反应 embed 评测指标。

二、细分任务评测

1.原生英文评测结果

进一步下沉到任务级别，可以看到不同模型之间并不存在“全任务完全一致的绝对排序”，而是表现出较为鲜明的任务偏好。例如，在复合容器关闭类任务中，不同模型对“放置—关闭”这一连续动作链的稳定性存在明显差异；在案板、桌垫、餐盘、托盘等不同起始容器条件下，模型对目标物体抓取、搬运及放置路径的稳定性也并不相同。

在第一梯队内部，Qwen3-VL-OFT-Robocasa与Qwen3-VL-GR00T-Robocasa虽然总体成功率接近，但在若干细分任务上分别具有更突出的局部优势；ABot-M0-Robocasa则更偏向整体均衡型，在多数任务上不一定都是第一，但整体波动更小、综合表现更稳。

对于GR00T-N1.6-3B而言，任务级结果显示该模型并非全面失效，而是在一部分搬运类任务上具备中等水平的可用性；问题主要在于其跨任务一致性和整体完成度仍与第一梯队存在差距。至于GR00T-N1.5-3B及其 posttrain 版本，虽然在个别任务上能够给出相对可观的成功率，但在全任务范围内尚未形成足够稳定的高水平表现。下附原生英文 en 细分任务模型评测表：

2.原生中文评测结果

从整体结果来看，六个模型在原生中文条件下的差异远大于原生英文条件下的差异。

Qwen3-VL-OFT-Robocasa取得了最高的原生中文平均成功率，Qwen3-VL-GR00T-Robocasa次之，二者与其他模型之间形成了较清晰的领先优势。这说明Qwen3-VL-4B-Action 这一 backbone 对中文的支持能力较强，切换语言后语义损失较小。

ABot-M0-Robocasa 在原生中文直传场景中成功率显著下降，并非完全偶然。从公开论文描述看，其数据清洗与统一过程将非英文内容（包括中文）视为会干扰意图解析与语言—动作对齐的因素，因此模型整体更偏向围绕规范英文任务指令建立稳定对齐机制。这使其在标准英文 benchmark 下表现突出，但在中文直传条件下，中文语义难以像英文模板那样稳定映射到既有任务分布，进而导致成功率明显下降。

相比之下，GR00T-N1.6-3B 对中文直传的削弱更为彻底，因此在当前统计中基本不支持中文 instruction 直接传入。下附原生中文 cn细分任务模型评测表：

3. embedding 的中文路由映射评测结果

从总体结果来看，embedding 路由转换后，各模型的中文任务成功率普遍高于原生中文直传结果，且整体排序更加接近英文 benchmark 的排序。这说明：在当前阶段，中文路由转换能够有效缓解部分模型原生中文理解不足的问题，使系统在中文输入条件下恢复到更接近英文标准任务的能力水平。下附转换中文 embed 细分任务模型评测表：

#长按查看更多图表

更多评测可视化数据和图表信息，请扫码或长按查看：