Yume: An Interactive World Generation Model

01 动机

现有视频扩散模型在生成交互式、可导航的真实世界场景时面临三大核心挑战：合成数据与真实场景之间的领域鸿沟、依赖绝对相机姿态参数导致的标注难与训练不稳定，以及城市复杂场景中普遍存在的视觉 artifacts（闪烁、纹理异常、几何扭曲）。

"Yume aims to use images, text, or videos to create an interactive, realistic, and dynamic world, which allows exploration and control using peripheral devices or neural signals."

02 方法

Yume 的框架由四个相互协作的核心组件构成：相机运动量化、Masked Video Diffusion Transformer 架构、无训练采样器设计、以及模型加速。这四部分分别解决了控制稳定性、计算效率、生成质量和推理速度四个维度的问题。

1. Quantized Camera Motion (QCM)

现有方法依赖逐帧绝对相机矩阵（c2w）进行控制，标注成本高且对预训练模型不友好。QCM 将连续相机轨迹量化为 8 种离散动作（forward, backward, left, right, turn-left, turn-right, tilt-up, tilt-down），通过计算相邻帧的相对变换矩阵，选取与之最近的预定义典范动作，并转换为文本条件输入——无需引入额外可学习模块，即可在预训练 I2V 基础模型上实现键盘控制。

2. Masked Video Diffusion Transformers (MVDT)

MVDT 在去噪过程中对 30% 的 token 进行 selective masking，分三阶段处理：Encoder 仅处理可见 token，Side-interpolator 通过可学习 token + self-attention 预测被遮盖内容，Decoder 对插值特征进行精化。该设计将计算集中于可见区域，同时保持时序一致性。配合基于 FramePack 思路的记忆压缩方案（近帧 (1,2,2)、远帧 (1,8,8) 不同压缩比），实现自回归无限视频生成。

3. Training-Free Anti-Artifact Mechanism (AAM)

AAM 是一个无需额外训练的两阶段去噪机制：首先进行标准去噪生成初始结构 z_orig，再利用 Gaussian blur 滤波将低频分量（整体结构）保留自初始生成，而高频分量（细节纹理）由精化步骤重新生成，从而在不引入训练开销的前提下大幅减少城市建筑场景中的视觉伪影。

4. Time Travel Sampling based on SDE (TTS-SDE)

受 DDNM 和 OSV 启发，TTS-SDE 利用后期去噪阶段的信息引导前期步骤，同时注入随机微分方程噪声以增强采样随机性，从而提升文本/动作可控性。消融实验证明，相比标准 ODE 采样，TTS-SDE 将 Instruction Following 从 0.657 提升至 0.743。

5. 模型加速

通过对抗蒸馏将采样步数从 50 步压缩至 14 步，推理时间从 583.1 秒降至 158.8 秒（3.7× 加速），视觉质量指标几乎不变（Imaging Quality 0.739 保持不变，Subject Consistency 仅下降 0.005）。此外还引入基于 Cache 的加速机制协同优化。

03 实验

训练数据：Sekai-Real-HQ（来自 YouTube 行走视频 + 无人机视频，经过镜头检测、亮度过滤、轨迹过滤后精选 400 小时，含 139,019 个标注片段）。评测基准 Yume-Bench 覆盖六项指标：Instruction Following（人工评测）、Subject Consistency、Background Consistency、Motion Smoothness、Aesthetic Quality、Imaging Quality（后五项来自 VBench）。测试分辨率 544 × 960，帧率 16 FPS，96 帧，50 步推理。

Table 2：与 SOTA 方法的对比（质量对比）

Yume 的 Instruction Following（0.657）大幅领先两个 baseline，同时在 Subject Consistency、Background Consistency、Motion Smoothness、Aesthetic Quality 上均达到最优或接近最优，仅在 Imaging Quality 上略低于 MatrixGame（0.739 vs. 0.750）。

长视频生成验证

在 18 秒的长视频生成测试中（每次自回归生成 2 秒片段，共 9 次外推），前 8 秒运动与测试集一致，后 10 秒切换为持续前进（W 键）。结果显示：subject consistency 仅下降 0.5%，表明 Yume 的自回归生成机制在长时序下具备良好的时序连贯性。

消融实验

Table 3：不同采样器对比（TTS-SDE 消融）

TTS-SDE 将 Instruction Following 从 0.657（ODE baseline）提升至 0.743，代价是 Subject Consistency 和 Aesthetic Quality 略有下降。这表明 TTS-SDE 通过策略性引入噪声扰动，增强了运动轨迹的精化效果。

Table 4：模型蒸馏消融（50 步 → 14 步）

对抗蒸馏将推理时间压缩约 3.7×（583.1s → 158.8s），视觉质量几乎无损，仅 Instruction Following 下降 0.1（0.657 → 0.557），作者认为这可能因步数减少削弱了文本控制能力。

04 局限性