PokeVLA

01 动机 · Motivation

现有大型 VLA 模型参数量动辄数十亿，难以在算力受限的边缘设备上部署。与此同时，仅靠模仿学习训练的小型模型严重缺乏对空间关系、操作意图和几何结构的理解，在扰动场景下泛化能力尤为不足。如何在保持轻量化的同时，赋予 VLA 模型足够丰富的 world knowledge？

"We collect and curate a large-scale embodied multimodal dataset of approximately 2.4 million entries to pre-train a tiny-scale embodied vision-language model… introduce a novel method for learning manipulation-relevant representations, featuring multi-view consistent learning of the manipulation targets and geometric alignment."

传统 VLA 模型要么体量巨大（如 OpenVLA 7B），要么缺乏场景理解能力。PokeVLA 瞄准一个关键问题：即便是 0.5B 语言骨干，只要配合充分的 embodied 先验预训练和精心设计的操作相关表征注入，就能在模拟和真实世界中实现可靠、鲁棒的机器人操作。

02 方法 · Method

PokeVLA 采用两阶段训练范式：第一阶段在大规模具身多模态数据集上预训练出 PokeVLM；第二阶段通过目标感知语义分割（Goal-Aware Segmentation）与几何对齐（Geometry Alignment）将操作相关的表征注入到动作头中。

第一阶段：PokeVLM 预训练

以 Prismatic-VLM 为骨架，语言模型选用 Qwen2.5-0.5B，视觉编码器为 SigLIP（语义）+ DinoV2（空间感知）双组件，通过 MLP projector 桥接视觉与语言空间。预训练数据集共约 2.4M 条，覆盖四类具身任务：

• General Understanding：665K 条，来自 LLaVA-Instruct-665K
• Spatial Grounding：694K 条，来自 RoboPoint、RefSpatial、RoboRefit、RoboSpatial
• Affordance Learning：553K 条，来自 HOVA（Ego4D、Epic100）和 MolmoAct
• Embodied Reasoning：511K 条，来自 RefSpatial 和 Cosmos-Reason1-SFT

训练配置：AdamW 优化器，学习率 2e-5，batch size 128（8 卡 × 4 per-GPU × 4 梯度累积），线性 warmup（3% steps）+ cosine decay，共训练 2 个 epoch。

目标感知语义分割（Goal-Aware Segmentation）

借鉴 LISA 的设计，在语言模型中引入特殊 token <SEG>，其 embedding 整合了场景上下文与目标物体细节。解码采用 coarse-to-fine 两步范式：

1. Coarse Decoding：将 <SEG> embedding 通过 SAM prompt encoder，获得 sparse/dense embeddings，经粗粒度 mask decoder 得到初步掩码；
2. Fine-Grained Decoding：以粗掩码 logits 作为 mask prompt 输入，结合 <SEG> embedding 进一步细化预测。

分割损失为 focal loss 与 KL divergence 之和：L_seg = λ_focal FOCAL(M̂,M) + λ_KLD KLD(M̂,M)，其中 λ_focal = λ_KLD = 1。多视角一致性通过跨视角共享 <SEG> embedding 保证，使模型对操作目标形成稳定的跨视角表征。

几何对齐（Geometry Alignment）

利用 VGGT（视觉几何基础模型）在训练阶段提取多视角图像的几何特征，通过余弦相似度损失将语言模型视觉 token 的隐状态对齐到 VGGT 特征空间：

L_geo = (1/VN) ∑[1 − cos(P(h_v), f_geo)]

几何对齐仅在训练阶段使用 VGGT，推理时无额外开销。轻量级 projector 负责维度对齐。整体训练目标为：

L = L_action + λ_seg L_seg + λ_geo L_geo

其中 λ_seg = 0.2，λ_geo = 0.4。

动作头（Action Head）

采用含 L 个 transformer 层的 cross-attention 动作头，依次对动作 latent 进行：自注意力 → 与 query embedding 及机器人状态做 cross-attention → 与视觉隐状态做 cross-attention → 与 <SEG> embedding 做 cross-attention，最终通过 LayerNorm + MLP 输出动作 chunk：

"att^l = [SA(at^l), CA(at^l,[h_q,MLP(s_t)]), CA(at^l,h_v), CA(at^l,h_seg)]"

03 实验 · Experiments

在模拟平台（LIBERO、LIBERO-Plus）和真实机器人（xArm7 + 双 Realsense 相机）上对 PokeVLA 进行全面评估，对比基线为 OpenVLA-OFT 和 VLA-Adapter。

VLM 能力评估（PokeVLM）

在空间感知、空间推理等具身 VLM 基准上，PokeVLM 大幅超越 Prismatic-VLM 基线：

LIBERO 基准（表 IV）

LIBERO-Plus 鲁棒性基准（表 V）

在迁移设置下（在 LIBERO 上训练，在 LIBERO-Plus 上测试），PokeVLA 超越 OpenVLA-OFT +9.7%，超越 VLA-Adapter +20.2%。在各类扰动下的性能对比：

真实机器人实验

在真实场景扰动测试（Table X）中，PokeVLA 综合超越 VLA-Adapter +20%（63.0% vs 43.0%），在末端执行器初始位姿扰动（70.0%）、目标物体扰动（60.0%）、光照扰动（75.0%）三类测试中均保持较高成功率。

消融实验（LIBERO-Plus Transfer 设置）

消融实验表明，预训练、几何对齐和目标感知分割三个模块各自独立带来明显提升，三者结合后整体达到最佳 85.3% 的迁移成功率。

04 局限性 · Limitations