World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry

01 动机

通用世界模型要在策略学习中发挥作用，必须在包括次优动作和探索性动作在内的多样动作分布下稳定准确地预测结果。然而，现有方法在探索不足的状态区域难以识别哪些 transition 最具信息量，验证（verification）机制的缺失导致模型在分布外（OOD）场景下显著退化。

"General-purpose world models promise scalable policy evaluation, optimization, and planning, yet achieving the required level of robustness remains challenging."

核心洞察：已知起止状态时，推断引发合理 transition 的动作（逆问题）往往比直接预测状态转移结果（前向问题）更容易。这种不对称性来源于：① 无动作视频数据远比带动作的交互数据丰富；② 动作相关特征的维度 d_z 远小于完整状态维度 d_s。WAV 正是利用这一不对称性构建高效的预测验证机制。

02 方法

WAV 框架由三个模块组成，通过前向-逆向循环一致性进行自我验证：子目标生成器 g_ϕ、稀疏逆动力学模型 h_ψ、以及前向世界模型 f_θ。验证分数衡量前向预测与子目标之间的偏差，高分样本优先被选入训练集以引导探索。

子目标生成器（Subgoal Generator）

子目标生成器 g_ϕ 建模状态转移先验分布 p(s^t+1|s^t)，同时在有动作标注的机器人交互数据和规模更大的无动作视频数据上训练。对给定当前状态 s^t，它采样 K 个合理未来状态 {s̃_k^t+1}，这些候选子目标不依赖动作，天然具有视觉合理性（state plausibility）。

稀疏逆动力学模型（Sparse Inverse Dynamics Model）

稀疏 IDM 引入可学习稀疏掩码 M，仅利用与动作相关的紧凑特征子集推断动作：

a^t = h_ψ(M ⊙ s^t, M ⊙ s^t+1)

"Sparse" 的含义是：模型只关注对动作预测贡献最大的少数状态维度 z（d_z ≪ d_s），从而降低输入维度、提升样本效率与对环境噪声的鲁棒性。

前向-逆向循环一致性（Cycle Consistency）

验证循环按以下顺序执行：

s^t → g_ϕ → s̃_k^t+1 → h_ψ → â_k^t → f_θ → ŝ_k^t+1 → ℓ → ε̂_k

偏差 ε̂_k 衡量前向世界模型的预测与子目标生成器给出的"合理未来"之间的不一致程度，验证分数高（偏差大）的样本优先被加入训练集，引导世界模型在高误差区域自我提升。

理论支撑（Proposition 3.1）

在线性-高斯设定下，若两个模型均用 OLS 在 n 个带标注转移上拟合，当 n > d_s + d_a + 1 且 n > 2d_z + 1 时，前向误差与逆向误差之比满足：

𝔼[ℰ_F] / 𝔼[ℰ_I] ≥ （维度比）× （随机性比）× （样本量项）
即：[(d_s+d_a)/(2d_z) · (d_s/d_a)] · [(σ_s/(λσ_a))²] · [(n−2d_z−1)/(n−(d_s+d_a)−1)]

三个因子分别对应维度不对称（d_z ≪ d_s 时逆向问题更简单）、随机性差异（环境噪声 σ_s 比动作恢复歧义 σ_a 更难克服）、以及有限样本稳定性（参数少时估计更准）。

03 实验

在三个平台（MiniGrid、RoboMimic、ManiSkill）共 9 个任务上评测：MiniGrid 用于验证核心验证机制的鲁棒性，RoboMimic（Lift、Can、Square）与 ManiSkill（PullCube、PokeCube、LiftPeg）评测真实机器人场景的世界模型学习与 OOD 适应能力。基线包括 Random、Uncertainty（最高认知不确定性）、Progress（连续世界模型间的分歧）、Vanilla IDM（无稀疏掩码）及 Oracle（上界）。

MiniGrid：探索方法对比

RoboMimic & ManiSkill：世界模型学习

下游策略性能

OOD 适应

验证分数与真实误差的对齐

消融实验

对比 WAV 与 Vanilla IDM（去掉稀疏掩码 M）的结果表明，稀疏性是关键：去掉掩码后模型需要从完整状态维度推断动作，既降低了样本效率又对环境噪声更为敏感。在 MiniGrid 上，随对象数量从 6 增加到 14，Sparse IDM 的验证精度基本稳定，而稠密前向模型的精度显著下降，验证了维度不对称理论分析的预测。

04 局限性