WorldExam：世界模型评测基准，拆解表观外观与固有反应性

World model世界模型这个词最近在 AI 圈子的出现频率明显变高。很多团队都在推自己的世界模型有人强调视频预测有人强调具身智能也有人强调决策规划。但真正把“世界模型”当作一个需要系统评测的对象来设计基准测试的其实还不算多。WorldExam 这个基准测试核心切入点就是标题里那两组词apparent appearance表观外观和 inherent reactivity固有反应性。它想解决的问题非常直接一个模型如果只是把画面里的物体、纹理、颜色看得准但不知道推一下杯子会倒、撒手会让重物掉下来、按下开关灯会亮那它到底算不算理解了世界WorldExam 要做的就是把这两层能力拆开测而不是丢一个总分数糊弄过去。一句话讲完定位WorldExam 是一个面向世界模型的评测基准用来衡量模型从“看得懂画面”到“预测得到交互结果”之间的能力跨度。适合谁看正在做世界模型、视频预测、具身智能、机器人决策的算法工程师和研究人员以及准备用某个世界模型做下游任务选型的产品或平台团队。下面我会按评测设计、运行条件、指标解读、常见坑点、改进思路这几个维度拆一遍。1. 先搞清楚WorldExam 要测的“外观”和“反应”分别指什么1.1 外观层模型能不能读懂场景本身外观层对应标题里的 apparent appearance。它评测的是模型对静态视觉信息的理解能力。场景里有哪些物体物体是什么材质、什么颜色、什么形状物体之间的相对位置和遮挡关系是什么整体场景属于室内还是室外、厨房还是道路这些都是外观层的考察点。这类任务和传统视觉理解任务高度重合包括图像分类、目标检测、语义分割、场景图生成、属性识别等。换句话说外观层更像是一块“视觉地基”先确认模型能不能把画面里的信息完整、准确地抽取出来。1.2 反应层模型能不能预测交互结果反应层对应标题里的 inherent reactivity。它评测的是模型对世界动态规律的把握程度。给定一个状态施加一个动作模型需要回答世界接下来会怎样。典型例子是一个球从桌边滚出下一秒会不会掉到地上拿手推一块积木积木会往哪个方向移动按下开关后灯是亮还是灭。这层能力要求模型理解物理规律、物体间的相互作用以及动作与结果之间的因果关系。和外观层相比反应层的难度更高因为它不仅要“看见”还要“脑补未来”并且是在动作干预的前提下预测未来。外观层可以靠视觉编码器硬扛反应层却必须把动作语义和环境动态真正对齐否则很容易在合成场景或长时序任务上露馅。1.3 为什么强行合成一个分数是危险的如果只看到合并后的总分很容易出现这种误判一个模型外观得分 90反应得分 40另一个模型外观 65、反应 65两者平均分都是 65但它们在真实动态交互场景中的表现天差地别。前者在机器人操作、自动驾驶预测这类任务里基本不能用后者各项能力均衡更适合做通用场景支撑。从我自己的评测经验来看一份世界模型评测报告里最重要的部分不是总分排名而是“分维度分数表”和“分场景分数表”。先看每类任务的单独得分再决定模型用在哪个场景这是使用这个基准最核心的态度。如果基准本身只提供一个总分建议自己动手把结果按题目类型拆开统计。1.4 这个基准更适合谁以下几类人使用收益比较大做世界模型的算法团队想定期验证模型能力是否增长判断训练迭代方向是否有效。做下游产品选型的技术负责人需要对比不同世界模型或视觉语言模型在动态场景下的表现。做数据采集和训练策略的研究者需要定位模型到底缺哪类数据从而决定下一批训练样本的采集重点。如果你只是想找一个通用图像分类或目标检测基准WorldExam 并不是最合适的选择。它的重心是“世界理解”和“交互反应”不是纯粹的感知任务。这一点在开始之前就要想清楚否则容易产生“模型怎么这都答不对”的错位评价。2. 评测任务怎么设计从静态理解到动态推理2.1 外观层任务输入输出形态外观层任务的常见形态有三类。场景理解题给一张或一组图判断场景类型、主体物体、物体属性。比如“图中场景属于什么类型”“桌面上有几个杯子”。空间关系题判断物体 A 和物体 B 的相对位置例如“球是否在盒子里面”“椅子是否被桌子部分遮挡”。异常识别题在一组看起来相似的画面中识别出不符合物理常识或场景常识的那一帧比如悬浮在空中的杯子。输入通常是一张 RGB 图片或者从视频中抽出的关键帧。输出一般设计成多项选择、判断题或排序题。这样设计的原因是为了让评分尽量客观减少开放式生成带来的歧义。如果允许自由文本回答就必须额外处理语义等价和文字噪声评分成本会高很多。2.2 反应层任务动作干预是核心反应层任务的关键是“动作干预”。评测会给出当前状态和动作描述让模型预测状态演变结果。常见形式包括动作结果选择题物体从斜面滑下后是否会撞到障碍物给出几个候选项模型选出最合理的后续状态。状态演变排序题把多帧未来画面按真实时间顺序排列考察模型是否理解变化方向。多步反应题先做一步动作观察结果后再做下一步考察模型是否能基于中间状态持续更新判断。这一层评测要求模型能把“动作”这个变量真正用到预测过程中。如果一个模型只会把画面变化趋势概括成模式识别而无法把动作语义和物理结果对应起来它在反应层的分数不会高。比较典型的表现是把“推”和“拉”混为一谈或者对“碰撞后反弹”的幅度判断不准。2.3 联合评测和分层评测的差异WorldExam 这类基准通常提供两种跑法。分层评测先单独跑外观层再单独跑反应层各出各的分。联合评测把两类任务混合按统一协议出综合报告。我建议第一次跑的时候优先用分层评测。原因很简单一旦混合评测分数不理想你很难判断问题出在静态感知还是动态预测上。分完层之后再跑联合评测拿到整体对比数据这时候总分才有解释空间。分层评测还能顺带输出每个子类的细项分数对后续改进非常有帮助。2.4 题目难度与数据清洗基准测试的数据一般会做难度分层简单题考察常识级外观或反应中等题考察多物体和组合动作较难题考察长时序和因果链。使用时要记得看题目难度分布。如果某一难度档的题目数量特别少单档分数就会有很大波动不能急着下结论说模型在该难度上强或弱。数据清洗也是一个容易被忽略的环节。跑完评测后最好抽查一部分题目确认图片是否清晰、动作描述是否有歧义、标准答案是否唯一。因为基准数据也存在标注噪声偶尔一两道题标错并不奇怪。遇到这种情况建议在评测日志里记录题目 ID后续重新处理时统一剔除或修正。3. 跑基准前要准备的环境和输入条件3.1 先确认评测协议的版本这里要说明一点WorldExam 的具体版本号、公开数据集规模、官方指标口径原始材料里并没有给出统一结论。如果你准备使用这个基准第一步应该是先确认拿到的是哪个版本然后查看版本对应的 README 或评测说明。这一步看起来很基础但真的很多人跳过。不同版本的数据划分、题目数量和评分脚本可能完全不同用旧模型的输出对接新评分脚本很容易出现字段对不上或者指标口径不一致的情况。我在实操时会把评测协议版本写进项目根目录的配置文件中避免换人接手后对不上。3.2 资源需求显存、内存和时间评测世界模型资源消耗主要来自三个方面。视觉编码阶段每道题都需要把图片或视频帧送入模型编码产生 embedding。这部分吃显存和批量大小。推理生成阶段如果模型需要生成预测帧或推理链耗时会显著增加尤其是视频预测类模型。评测后处理对生成结果做格式清洗、对齐、评分需要内存和 CPU 时间。如果只是先试一小批样例普通单卡基本够用。如果要跑全量评测建议先看数据规模估算单卡推理时长。我习惯的做法是先用 1% 左右的子集跑通流程记录单样本平均耗时再乘上总量判断是全量跑还是抽样跑。评估阶段主要资源对速度的影响视觉编码显存、批量大小批量越大越快但显存不够会直接炸生成预测显存、计算时间每帧生成耗时高长序列容易超时评分后处理内存、CPU题目量大时解析和比对也会成为瓶颈3.3 模型接口怎么接接入评测通常有两种方式。第一种是通过预测接口模型接收输入数据返回结果选项或生成文本评测脚本再做匹配。这种方式最直观和最终应用形态一致。第二种是通过 embedding 接口模型把视觉输入编码成向量评测脚本在向量上做分类或相似度计算。这种方式更灵活对模型的改动更小但它有一个前提模型输出的 embedding 空间必须是稳定的。如果你在评测过程中更新了模型权重或者打开了随机增强前后两次生成的向量可能不在同一分布里对比就会失真。3.4 先跑一条调试样例不要上来就跑全量。我的建议是选一道外观题和一道反应题。手动构造输入确认接口字段能通过。跑一次评测脚本确认输出被正确解析。人为制造一个错误答案确认评分能正确判错。这一步叫“测试评分脚本本身”。很多时候模型没问题跑分很低的真正原因在于输出格式解析漏了字段、大小写不匹配、动作标签映射错了。先确认评测流程本身可靠再谈模型能力这个顺序不能乱。3.5 数据目录和输出命名规范评测的数据目录、中间结果目录、最终输出目录最好分开。全量测试时模型输出会很多如果所有文件都堆在一个目录后续清洗会很痛苦。我建议按题目 ID 命名输出同时附一个运行配置文件把模型路径、输入版本、参数设置、日期都记录下来。这样过两周回来看结果还能对上号。如果评测数据里有视频片段建议把抽帧参数也记录下来比如抽帧间隔、分辨率、是否做归一化。视频预测类模型对抽帧策略特别敏感换个间隔可能就导致分数明显变化。4. 核心指标怎么读准确率之外还要看什么4.1 外观层指标外观层常用指标包括分类准确率答案是否和标准答案一致。多标签 F1一道题可能涉及多个属性只看准确率会忽略部分正确。空间关系判定指标比如交并比或者关系正确率。只看一个准确率是不够的。如果一个模型把“物体颜色”全答对但“物体数量”全答错整体准确率可能还在 70% 上下容易掩盖具体缺陷。建议每个细分类目单独看分数尤其是物体属性、空间关系、异常检测这三类要分开统计。4.2 反应层指标反应层指标更复杂常见的有预测结果准确率动作造成的下一步状态是否选对。排序正确率多帧未来画面排序是否和真实顺序一致。因果一致性模型对正例和反例的判断是否稳定比如“球从斜面上滑下”和“球被固定挡住”两个场景的区分度。多步累积误差让模型连续预测多步看第 1 步、第 2 步、第 3 步的准确率衰减速度。多步累积误差是我比较在意的指标。很多世界模型单步预测还行多步预测几步之后就开始发散这在反应层评测中会非常明显。如果你要用的场景是一次性预测单步指标就够用如果要做决策规划就必须关注多步衰减。4.3 合并分数和使用基线的陷阱如果基准给出一个总分数不要拿它与另一套完全不同的基准做横向对比。不同基准的数据分布、任务类型、评分口径差异很大分数大小本身没有绝对意义。更重要的是和一个强基线对比比如随机猜测、纯静态预测器预测下一步等于当前帧、以语言模型直接做视频理解的泛化模型等。一个好的结果不仅是要“高于随机”更要在每一类任务上稳定地高。如果你发现某个子类上模型分数只比随机高一点点那这个子类基本可以确定为模型能力的短板。这个短板在基准报告里可能只有两三行到了真实场景里就会被放大成无法使用的问题。4.4 抽样稳定性评测全量数据通常成本较高。如果采用抽样评测要控制随机种子并且跑两三次看波动。如果某个子类的样本量只有几十条分数波动 10 个百分点都很正常。不要因为单次分数变化就断定模型有改进或退化先确认样本量和波动范围再下结论。更稳妥的做法是先确定子类的最小样本量阈值低于阈值的子类不单独展示分数只在宏观报告里汇总。这样能避免小样本带来的虚假高分或虚假低分。5. 实测中常见的翻车点和排查顺序5.1 输入分辨率与训练分布不一致世界模型对输入分辨率比较敏感。如果基准题目的图片分辨率和模型训练时的分辨率不一致模型可能产生大量识别混乱。比如训练时用 224x224评测时给 512x512 的图物体比例和感受野变化会直接影响外观层表现。排查方法记录模型实际接收到的输入尺寸对比训练配置。如果是多尺度训练也要确认预处理逻辑是否导致尺寸变化。不要把注意力全放在模型参数量上很多时候问题就出在最简单的尺寸对齐上。5.2 动作空间理解错误反应层评测里非常常见的问题是动作标签映射错误。基准里可能用“push”“pull”“grasp”这类动词而模型内部的动作概念可能是另一个离散化空间。如果映射错位模型把“推”理解成了“拉”结果自然不对。排查方法把每个动作标签对应的示例样本打印出来人工确认模型是否能区分开。不要只检查文字描述要看实际效果。如果模型用的是连续动作向量还要确认基准给的离散动作是否经过正确映射这一步很容易出低级事故。5.3 输出格式和评分脚本不匹配这是启动阶段最常踩的坑。模型返回的是“A/B/C/D”还是“选项编号文字”、是否包含多余前缀、答案在 JSON 的哪个字段都会影响评分。看起来像是模型答得差实际是解析环节丢分了。排查方法先跑一个规则简单的题目把评测脚本的中间解析结果打印出来对比模型原始输出。一旦发现字段错位先修解析逻辑再重新评测不要拿这份脏数据去分析模型能力。5.4 模型随机性和评测可复现性生成式模型默认可能有随机采样导致同一道题跑两次结果不一样。如果是这样评测前必须把随机种子固定或者改用确定性解码策略。如果随机种子无法完全控制就需要多次运行取平均。这里给出一个常用排查顺序看现象分数异常低、某一道题反复判错、还是整体分数抖动。看输入图片是否正常读取、动作标签是否映射正确、是否有空数据。看解析模型输出和评分脚本字段是否对齐。看环境依赖版本、随机种子、批处理时是否串数据。看模型分维度对比确认是整体能力不足还是特定任务短板。这五步按顺序走基本能筛掉九成以上“假异常”。不要一上来就调模型先把流程和输入确认干净。5.5 并发和批量处理时的隐性 bug如果你写了一个并发评测脚本要注意批量数据是否按题目 ID 对齐。我见过一个案例并发请求返回后直接按完成顺序拼接结果导致题目 ID 和答案错位最后整体分数低了十几个点。处理这种问题的办法是每个请求都带上题目 ID返回后先按 ID 重新排序再做评分。症状优先排查次优先排查全部题目分数接近随机输入读取、标签映射评分脚本字段某一类题目稳定出错该类题目难度分布该类动作标签定义同题不同次结果不一致随机种子、采样策略模型权重更新分数明显低于预期分辨率与训练分布输出解析并发跑完分数错乱题目 ID 对齐并发批处理逻辑6. 怎么把基准结果变成模型改进线索6.1 分维度看差距而不是只盯排名先拿到分维度分数表然后按以下方式拆解。外观得分高、反应得分低模型缺动态推理数据需要补物理交互类训练样本比如推拉、碰撞、掉落、液体变化等场景。外观得分低、反应得分高说明模型对静态特征抽取不够可能是视觉编码器偏弱或者训练分辨率不够也可能是图像预处理过强丢失了细节。两类都低先看是不是评测接入有问题再考虑模型整体能力不足。两类都高但在某个子类偏低定位到具体子类收集对应场景的困难样本。这个拆解过程不复杂但能直接决定下一步工作是改数据、改模型还是改评测接口。省掉这一步直接去看总榜容易把方向带偏。6.2 对错误样本做聚类不要只看分数把答错的题目拉出来人工看一遍通常能归纳出几类错误物体间遮挡判断失败、动作结果混淆、长时序后状态发散、小物体漏检等。这些错误类型就是最有价值的改进信号。比如我发现某个模型经常在“杯子倒水后水位变化”这类题上出错那就说明模型对液体类变形物体的动态理解比较弱。后续可以通过补充液体交互视频或者在数据增强中加入更多变形物体样本来改进。如果没有错误聚类这一步你可能只会得到一句“反应层分数偏低”对下一步怎么做毫无帮助。6.3 评测与训练数据形成闭环一个成熟的流程是阶段一用基准跑出基线和错误聚类。阶段二针对错误类型补充数据或调整训练策略。阶段三重新跑同一版本基准看同类错误是否下降。注意中间不要换评测版本和评分脚本否则前后结果不可比。如果你在同一周内既换了训练数据又改了评测代码最后分数上升也说不清楚是哪个改动生效。版本控制在这里不是仪式感是所有结论可信的前提。6.4 对选型团队的额外建议如果你是在做技术选型建议连续跑三次评测取中位数并记录每次的波动范围。不要因为一次高分就选用某个模型。要把基准结果和你实际业务场景的小样本数据集结合起来看。基准分数高不等于在业务场景上一定好用但基准分数全面低通常意味着模型基础能力有缺口靠业务数据微调也未必能补上。我个人更建议把 WorldExam 当作一块“能力仪表盘”而不是一个用来证明“我的模型天下第一”的排行榜。先用分层评测跑出外观和反应各自的水平再针对短板改进这才是这个基准最务实的用法。跑基准本身不难真正难的是分清楚哪一层的低分是模型能力不足哪一层的低分只是你的输入、解析或环境没对好。把这一步走稳后续的模型迭代和选型判断都会省不少力气。