Latent Policy Steering with Embodiment-Agnostic Pretrained World Models

01 动机

收集特定机器人形态的大规模演示数据成本高昂，而现有跨形态数据集因动作空间不一致、形态差异大，难以被直接利用。 如何从已有多形态数据中提炼可迁移的"技能先验"，以极少量目标形态演示即可大幅提升策略性能，是本文的核心出发点。

"Skills performed across different embodiments produce visual similarities in motions that can be captured using off-the-shelf action representations such as optical flow."

02 方法

LPS 分三步：① 以光流为动作表征在多形态数据上预训练视觉世界模型； ② 用少量目标形态演示微调世界模型并训练 Robust Value Function； ③ 推理时对 diffusion policy 采样的多条动作规划进行隐空间评估，选取价值最高的计划执行。

Flow-as-Action：形态无关的世界模型预训练

传统世界模型以具体机器人动作（如关节角度或末端位姿）为条件，无法直接跨形态迁移。 LPS 将光流替换为动作输入：卷积编码器将光流场压缩为 n 维向量（n 等于目标形态的动作空间维度）， 迫使网络捕获与形态无关的显著运动特征，同时抑制噪声和形态差异。 该设计使预训练数据可来自任意机器人甚至人类演示。

目标形态微调与 Robust Value Function

在获得少量目标形态（如 Franka）演示后，将光流编码器替换为归一化的机器人真实动作， 同时联合训练世界模型与价值函数。 价值函数需处理 distribution shift 问题——推理时策略访问的状态可能偏离训练分布。 为此，作者设计了Robust Value Function，同时在专家演示状态和策略访问状态上训练， 并引入 cosine similarity 奖励惩罚偏离专家轨迹的行为：

"r_t:t+h′ = r_t:t+h + (sim(s_t:t+h, s_t:t+h′) − 1) / 2"

其中 s_t:t+h 为专家隐状态序列，s_t:t+h′ 为策略在世界模型中展开的状态。 该奖励促使价值函数在 out-of-distribution 状态下仍能给出保守估计，避免高估偏差。

推理时隐空间策略引导（Latent Policy Steering）

给定当前观测，从 diffusion policy 采样 B 条候选动作规划，规划长度为 h。 世界模型将每条规划在隐空间中前向展开，得到未来隐状态序列， 再由价值函数以加权平均（未来时刻权重更大）计算规划级价值。 执行价值最高的规划前 1 步后重新规划，实现滚动决策。

03 实验

实验在两个场景下评估：① Robomimic 仿真（Lift / Can / Square / Transport）， 预训练使用 IIWA、UR5e、Kinova3 三种形态，目标形态为 Franka； ② 真实 Franka 机器人上的 4 个操作任务。 基线为行为克隆（BC），对比方法为 LPS-mix（使用混合多形态预训练数据）。

真实世界实验（Table I）

在 30–50 条演示下，LPS-mix 相对 BC 实现 70% 相对提升（21.2% → 36.2%）； 60–100 条演示下实现 44% 相对提升（51.2% → 73.8%）。

Robomimic 仿真实验（Table II，50 条 Franka 演示）

四个任务平均实现 10.6% 相对提升，预训练数据大部分来自真实世界场景而非仿真。

消融实验

光流 vs. EEF 动作（Table III）： 以光流预训练的世界模型（LPS-sim flow，均值 62.4%）优于以末端位姿（EEF）预训练版本（59.1%）， 在 Square 任务上差距最显著（52.4% vs. 45.3%），验证了光流作为形态无关表征的优越性。

价值函数设计（Table IV，100 条演示无预训练）： 完整 LPS（均值 68.7%）优于 LPS-vanilla（65.2%）和 LPS-bootstrap（64.3%）， 而 BC 基线为 62.9%。分布偏移惩罚项对最终性能贡献最大。

04 局限性