RLDX-1 Technical Report

01 动机

VLA 模型通过继承预训练 Vision-Language Model 的通用理解与语言条件泛化能力，在机器人操作领域取得了显著进步——但这种"通用智能"并不等于"灵巧操作所需的全部能力"。在动态环境（如传送带上的移动物体）、需要记住历史交互状态的任务、以及依赖触觉/力矩反馈的接触丰富场景中，现有 VLA 普遍失效。

"While Vision-Language-Action models (VLAs) have shown remarkable progress toward human-like generalist robotic policies through the versatile intelligence … they still struggle with complex real-world tasks requiring broader functional capabilities (e.g. motion awareness, long-term memory, and physical sensing)."

02 方法

RLDX-1 包含四大核心组件：(1) Multi-Stream Action Transformer（MSAT）神经网络架构；(2) 基于运动一致性过滤的合成数据生成管线；(3) 预训练 → 中训练 → 后训练的三阶段训练流程；(4) 静态图转换与算子融合推理优化。

Multi-Stream Action Transformer（MSAT）

MSAT 在标准 flow-matching VLA 架构（π₀）基础上，为每种模态分配专用流（dedicated stream），通过 joint self-attention 实现跨模态交互，同时保留各模态专属参数。具体地：

• Motion Awareness（运动感知）：在视觉编码器各层中插入 Motion Module，利用 space-time self-similarity（STSS）捕获帧间时序动态，通过残差连接集成，无需额外视频帧存储。
• Long-Term Memory（长时记忆）：Memory Module 维护最近 n_mem 个以 H+1 时步为间隔采样的"认知特征"（cognition feature）队列，由轻量级 Transformer 配合因果注意力处理历史观测。
• Physical Sensing（物理感知）：解耦的 Physics（P）流独立处理触觉传感器与力矩信号，训练时辅助预测未来物理信号作为额外监督目标。

合成数据生成与过滤

合成数据管线共生成 150K 条人形机器人演示数据，用于补充真实数据中稀缺的灵巧操作场景。两阶段过滤机制有效剔除不合格样本，在 GR-1 Tabletop 基准上，加入合成数据后成功率相对仅用真实数据提升了 9.1%（41.0% → 50.1%）。

三阶段训练流程

• 预训练（Pre-training）：在 1.5M 条多具身数据集上训练 100K 步（batch size 8192），涵盖单臂 gripper、双臂 gripper 和人形机器人，共 64 块 NVIDIA H200 GPU 训练约 195 小时。
• 中训练（Mid-training）：在 ALLEX 和 FR3 的专属数据（含合成数据）上训练 25K 步，引入 Motion、Memory、Physical Sensing 三大模块（dropout 0.3，2K 步热身对齐），共 15 小时。
• 后训练（Post-training）：基于改进版 RECAP 框架的强化学习，采用"基于文本的 VLM critic"（text-based VLM critic）自回归预测价值函数，配合自适应数据收集。

推理优化

通过两项关键技术实现 1.63× 端到端推理加速（71.2ms → 43.7ms）：

• Static Graph Conversion：将前向传播转换为单一 CUDA Graph，消除重复 kernel 启动开销，并预计算 rotary position embeddings 和 attention masks。
• Kernel Optimization（算子融合）：自定义 kernel 融合关键算子组，协调数据移动与计算，减少短序列推理中的内存往返开销。

03 实验

实验在仿真基准（LIBERO、SIMPLER、RoboCasa、GR-1 Tabletop）和三类真实机器人平台（OpenArm 28-DoF 人形、ALLEX 48-DoF 人形、Franka Research 3 单臂）上进行，主要对比 π₀-FAST、π₀、π₀.₅、GR00T N1.5、GR00T N1.6。

仿真基准（Table 1a：经典基准）

仿真基准（Table 1b：复合挑战基准）

真实机器人：ALLEX 人形基准

在 ALLEX 人形基准上，关键结果如下（作者原文引用）：

• 长时记忆任务（Object-in-Box Selection）："both GR00T N1.6 and π₀.₅ achieve success rates in the 30% range, whereas RLDX-1 achieves a substantially higher success rate of 91.7%"
• 运动感知任务（Conveyor Pick-and-Place）："RLDX-1 reaches a success rate of over 87.5% while π₀.₅ remains below 29.2%"
• 整体 ALLEX 成功率：约 90%，而前沿 VLA 维持在约 40%。

消融实验（Ablation Studies）

论文对多个设计维度进行消融验证：

• 合成数据比例：随合成数据加入比例（0% → 25% → 50% → 100%），GR-1 Tabletop 成功率从 41.0% 依次提升至 45.6% → 46.6% → 50.1%，提升 9.1%。
• VLM 层选择：在第 18 层插入接口效果最佳（60.9%），高于第 8 层（51.1%）和第 28 层（56.3%）。
• 推理优化逐步叠加：PyTorch Eager（71.2ms）→ CUDA Graph + Torch.Compile（59.6ms，1.19×）→ Static Graph（48.9ms，1.46×）→ Kernel Optimization（43.7ms，1.63×）。
• 强化学习 critic 对比：text-based VLM critic 产生更单调的值函数曲线，有助于 test-time sampling 中选择最优动作块。

04 局限性