FlowVLA

01 动机 Motivation

当前主流 VLA 模型依赖基于"next-frame prediction"训练的世界模型，试图直接预测未来帧的外观，而不显式建模底层的运动动态。这导致两个核心问题：预测在物理上不合理（物体凭空消失、机械臂轨迹混乱），且预训练目标与下游动作生成之间存在明显的领域鸿沟。

"This approach attempts to predict future frame appearance without explicitly reasoning about underlying dynamics, leading to physically implausible visual forecasts and inefficient policy learning."

传统世界模型陷入"pixel-copying trap"：模型只是复制静态背景而非理解时空动态，导致"blurry, inconsistent, and physically implausible long-horizon forecasts"。FlowVLA 通过在帧预测前插入光流预测步骤，强迫模型先理解"场景如何运动"，再推断"场景将呈现什么样子"。

02 方法 Method

FlowVLA 将世界模型的预测目标从 P(v_t+1|v_t, L) 重新表述为 P(v_t+1, f_t|v_t, L)，分解为两步：先由当前帧和语言指令预测光流（Motion Reasoning），再由光流和当前帧预测未来帧（Appearance Generation）。整个系统采用统一的 autoregressive Transformer，共享同一个 VQ-GAN tokenizer 处理 RGB 帧和光流场。

Visual Chain of Thought（视觉思维链）

FlowVLA 的核心创新是将预测序列从 v_t → v_t+1 扩展为 v_t → f_t → v_t+1，其中 f_t 是 t 时刻的光流场。世界模型预训练的完整序列为：

S_wm = {L_instr, v₀, f₀, v₁, f₁, …, v_T, f_T}

训练目标为：
LWM = Σ [LCE(ft | S<vt+1) + λ · LCE(vt+1 | S<vt+1, ft)]
第一项约束模型正确预测运动动态，第二项约束在运动条件下生成合理的未来外观。

统一光流 Tokenization

光流场通过 VideoJAM 技术转换为 3 通道 RGB 表示，再经过非线性归一化处理：

m_norm = min(1.0, m / (σ · √(H² + W²)))，其中 σ = 0.15

归一化后的光流 RGB 与原始 RGB 帧使用完全相同的 VQ-GAN tokenizer 离散化。这种设计避免了为光流单独训练编码器的额外开销，同时允许模型在统一的 token 空间内对运动和外观进行联合建模。

两阶段训练流程

03 实验 Experiments

在三个层次的基准上评估：LIBERO（仿真，4 个 task suite）、SimplerEnv（仿真，视觉域迁移鲁棒性）、AgileX Cobot 双臂真实机器人（4 个操作任务）。主要对比基线为 UniVLA 和 WorldVLA。

LIBERO 仿真基准（Table 1）

FlowVLA 在平均成功率上超过 UniVLA 4.1 个百分点，在长时序任务（LIBERO-Long）上的提升最为显著（72.6% vs. 63.0%），体现了运动推理对长视野规划的重要性。

SimplerEnv 仿真基准（Table 2）

SimplerEnv 考察视觉域迁移鲁棒性。FlowVLA 在需要精细空间推理的"Stack Block"任务上相对 UniVLA 提升 20.9 个百分点（62.5% vs. 41.6%）。

真实机器人实验（Table 3）

视觉预测质量分析

样本效率与收敛速度（Figure 6）

消融实验（Table 4）

三项组件缺一不可：Visual CoT 结构（+9.0 pp）、直接光流损失监督（+3.5 pp）、以及交错序列格式（vs. 分组格式 +23.6 pp）均对最终性能有显著贡献。交错格式的大幅优势表明，将运动 token 与外观 token 紧密交织对于捕获时序依赖至关重要。

04 局限性 Limitations