VLA-JEPA

01 动机 Motivation

现有基于潜在动作预测的 VLA 预训练方法（如 LAPA、UniVLA）将优化目标锁定在像素级变化上，而非真正与控制相关的状态转移。这使得模型对相机抖动、背景变化等无关干扰极为敏感，难以在真实环境中稳健泛化。

"For embodied control, we want a value-bearing latent state that discards nuisance appearance while preserving factors governing state evolution."

作者归纳了现有隐动作预训练的四类核心失效模式：

• 像素级偏置（Pixel-level bias）：优化目标锁定像素差异，而非动作相关的状态转移；
• 干扰运动（Nuisance motion）：真实视频中相机运动等无关信号被放大，遮盖了真正的交互信号；
• 信息泄漏（Information leakage）：未来帧的特征在预测网络中提前泄露，形成捷径；
• 多阶段复杂性（Multi-stage complexity）：三阶段以上的流程引入额外脆弱性。

02 方法 Method

VLA-JEPA 采用两阶段流程：先以 JEPA 目标进行世界模型预训练，再对 action head 进行微调。骨干网络使用 Qwen3-VL，视频编码采用 V-JEPA2 encoder，动作生成采用 flow matching。整体设计无需像素重建，无需复杂的多阶段解码器。

隐空间无泄漏状态预测（Leakage-Free State Prediction）

核心创新：Target encoder 处理未来帧，而 student 网络（VLM）仅能看到当前观测。模型在隐空间对齐预测表示与目标表示：
ℒ_WM = Σ(k=1 to T) 𝔼[||ŝ_tk − s_tk||²]
其中 ŝ_tk 为预测的世界状态，s_tk 为 target encoder 产生的目标表示。通过在隐空间而非像素空间预测，模型天然过滤了像素级的无关变化（光照、背景、相机运动），专注于语义状态转移。

Flow-Matching 动作头

动作生成采用 flow matching 对连续轨迹分布建模：
ℒ_FM = 𝔼[||v_θ(a_t,t|z_a) − (a₀:H − ε)||₂²]
综合训练目标为：ℒ = ℒ_FM + β·ℒ_WM，β 为超参数权衡世界模型损失与动作预测损失。

跨域人类视频迁移

框架支持无缝整合无动作标注的人类视频与有标注机器人数据。人类视频只需 world modeling loss，不需要动作标签。实验表明，人类视频主要强化"模型已有技能的鲁棒性和稳定性"，而非引入全新的动作动力学。

03 实验 Experiments

在 LIBERO（4个任务套件）、LIBERO-Plus（7种扰动维度）、SimplerEnv（Google Robot + WidowX）和真实 Franka 机器人上进行评估，与 OpenVLA-OFT、π₀、π₀.₅、UniVLA、GR00T N1 等方法对比。

LIBERO Benchmark（Table 1）

LIBERO-Plus 鲁棒性评估（Table 3）

LIBERO-Plus 在 7 个扰动维度（相机、机器人、语言、光照、背景、噪声、布局）上评估策略鲁棒性。VLA-JEPA 在 7 项中 5 项最优：

SimplerEnv Benchmark（Table 2）

消融实验（Ablations）

视频时间窗口（video horizon）消融（Table 4）：T=4 帧时信息不足（avg 94.8%），T=16 帧时引入冗余信息（avg 95.5%），T=8 帧取得最优（avg 96.1%）。注意力可视化（Figure 6）显示：LAPA 呈现"excessively dense visual information"，UniVLA 过度关注背景元素，而 VLA-JEPA "focus[ed] more precisely on the operation, for instance, the robotic arm, the hand, and the objects"。

04 局限性 Limitations