VLA-Reasoner: Empowering Vision-Language-Action Models with Reasoning via Online Monte Carlo Tree Search

01 动机

当前 Vision-Language-Action（VLA）模型在机器人部署时存在"短视"问题：每一步只预测当前最优动作，不考虑后续轨迹后果，导致误差随时间累积，长视野任务失败率高。

"Can VLAs explore the long-horizon future influence of actions at test time, and decide the optimal action?"

VLA 模型继承了大规模视觉-语言预训练的泛化能力，在机器人模仿学习上取得了显著成果。然而，这类模型在部署阶段仍然脆弱——它们将机器人控制当作一步步的局部决策，忽略了动作对未来状态的长链式影响。对于需要精确堆叠、抓取或多步协调的任务，即使微小的偏差也会随时间放大，最终导致任务失败。

VLA-Reasoner 的核心思路是：不修改 VLA 权重，仅在测试时外挂一套基于 MCTS 的规划模块，通过学习型世界模型模拟未来状态，以 value function 引导搜索，从而找到长视野更优的动作。

02 方法

VLA-Reasoner 由三个核心模块组成：基于 MCTS 的在线动作搜索、Kernel Density Estimation（KDE）高效采样机制、以及基于视觉的轻量 value network。最终动作由 VLA 预测与 MCTS 结果加权融合得到。

在线 MCTS 动作搜索

MCTS 以当前 VLA 的预测动作为根节点，执行四阶段循环：

• Expansion（扩展）：从根节点采样 N 个候选动作，按欧氏距离选取 k 个最近邻作为子节点，使得搜索集中在 VLA 分布的高概率区域。
• Simulation（模拟）：使用学习型 action-aware 世界模型递推预测未来状态：s(i+1) = W(a(i), s(i))，将动作轨迹转化为视觉观测序列。
• Backpropagation（回传）：沿路径更新节点 Q 值，综合 value estimate 与子节点 Q 值的访问次数加权平均：Q(o(i)) = [N(o(i))·v(i) + Σ N(o(j))·Q(o(j))] / [N(o(i)) + Σ N(o(j))]
• Selection（选择）：采用 Upper Confidence Bound（UCB）策略平衡探索与利用，选取最优子节点继续扩展。

Kernel Density Estimation（KDE）高效采样

反复查询 VLA 成本高昂。VLA-Reasoner 用 KDE 对离线数据中的动作分布建模：π(a) = (1/N) Σ K_h(a − a(i))，以概率密度作为访问次数的代理，在保留 VLA 先验的同时大幅减少对模型的实时调用。

视觉 value network 与动作融合

轻量 ResNet-34 + 2-layer MLP 在离线轨迹上训练，以线性插值帧位置为 ground-truth value（MSE loss），为中间树节点提供稠密反馈。最终执行动作为：

a(t) = α · a(VLA) + (1−α) · a(Reasoner)

其中超参数 α 控制原始 VLA 预测与树搜索结果之间的平衡。消融实验显示 α = 0.6 时效果最佳，适度融合优于完全依赖任一来源。

03 实验

在仿真环境（LIBERO、SimplerEnv）和真实机器人（Galaxea-A1）上与 OpenVLA、Octo-Small、SpatialVLA、π0-FAST 等多个 VLA 基线对比，评估指标为任务成功率（success rate）。

仿真结果（LIBERO & SimplerEnv）

值得注意的是，VLA-Reasoner 在不进行大规模后训练的前提下，使部分基线达到了与当前最优变体相当的性能水平。

真实机器人结果（Galaxea-A1，55 项任务）

消融实验

04 局限性