NVIDIA Cosmos 3 实战指南：把世界模型、机器人策略和自动驾驶拉到同一根 Transformer 线上

核心判断

NVIDIA Cosmos（仓库 NVIDIA/cosmos）在 8.8K stars、138 今日 star 的体量下，回答了一个被 VLM / Sora 类项目掩盖的问题：「让 AI 理解并预测真实物理世界」这件事，到底是扩散模型做、还是自回归模型做、还是一个统一架构做？

Cosmos 的真正价值不是「又一个视频生成模型」——它是把 理解（Reasoner） 与 生成（Generator） 两种范式压进同一根 Mixture-of-Transformers 架构的世界基础模型平台。同一组权重既能做「视频里下一秒会发生什么」的物理推理，也能做「从文本 + 动作 → 视频 + 声音 + 动作轨迹」的未来推演，输出可直接喂给机器人 / 自动驾驶策略做训练数据。

它的护城河在三件别家没做到的事：

1. 统一的 3D mRoPE 位置编码：把空间 + 时间 + 动作维度编进同一套位置表征，让图像、视频、音频、动作序列共享一套注意力层
2. Nano 16B / Super 64B 双规格 + 5 个垂直 checkpoint：含 DROID 机器人策略、Text2Image、Image2Video，覆盖 Physical AI 全栈
3. 多推理后端：Diffusers（Python 优先）→ vLLM-Omni（生产服务）→ NIM（NVIDIA 推理微服务），从原型到部署一条路

系统地图

模型族（Cosmos 3）

支持的生成参数

关键能力

• 世界理解：视频 / 图像 → 描述、时序事件、下一步动作、空间定位、物理一致性、因果结果
• 世界生成：文本 / 图像 / 视频 / 动作 → 同步视频 + 声音 + 动作推演
• 动作建模：策略动作、逆向 / 正向动力学、相机运动、自驾、第一人称运动、机器人控制
• 后训练配方：基于 Cosmos Framework 的 task-specific 微调（Coming Soon）
• 输入维度：相机 9D / 自动驾驶 9D / 第一人称 57D / 单臂 10D（DROID/UR/Fractal/Bridge/UMI）/ 双臂 20D / 人形 29D（AgiBot）

快速开始

0. 环境

# Linux + NVIDIA Ampere/Hopper/Blackwell
git clone https://github.com/NVIDIA/cosmos.git
cd cosmos
pip install -r requirements.txt
```python
import torch
from diffusers import Cosmos2TextToImagePipeline
from diffusers.utils import export_to_video

pipe = Cosmos2TextToImagePipeline.from_pretrained(
    "nvidia/Cosmos3-Super-Text2Image", torch_dtype=torch.bfloat16
).to("cuda")

prompt = "A sleek humanoid robot walking through a sunlit greenhouse, water mist, soft depth of field"
image = pipe(prompt=prompt, num_inference_steps=30, guidance_scale=4.5).images[0]
image.save("greenhouse.png")
```bash
# 启动 OpenAI 兼容的 vLLM-Omni 服务
vllm serve nvidia/Cosmos3-Super-Image2Video \
  --port 8000 --tensor-parallel-size 4

# 调用
curl http://localhost:8000/v1/generate \
  -H "Content-Type: application/json" \
  -d '{"prompt": "A drone flying over a coastal city at sunset", "duration_s": 4}'
```python
from transformers import AutoModel, AutoProcessor
import torch

model = AutoModel.from_pretrained("nvidia/Cosmos3-Nano", torch_dtype=torch.bfloat16).to("cuda")
processor = AutoProcessor.from_pretrained("nvidia/Cosmos3-Nano")

video = ...   # 5 frame tensor
prompt = "What is the robot about to do next? Return the next action as JSON."

inputs = processor(text=prompt, videos=video, return_tensors="pt").to("cuda")
with torch.no_grad():
    out = model.generate(**inputs, max_new_tokens=128)
print(processor.batch_decode(out, skip_special_tokens=True)[0])

4. 用 NIM 跑企业级推理

NVIDIA NIM 提供容器化微服务，cosmos-reasoner / cosmos-generator 两条镜像支持 Kubernetes 部署 + 自动扩缩容。

它在解决谁的什么问题

• 机器人 / 具身智能团队：要用合成数据训练 manipulation 策略；Cosmos3-Nano-Policy-DROID + DROID 仿真数据可生成 10K-100K 小时级带动作标注的视频
• 自动驾驶团队：要做 corner case 仿真；Cosmos Generator 用真实路况 + 文本 prompt 合成雨天 / 夜路 / 行人横穿
• 智慧城市 / 工业检测团队：要做「视频流 → 行为预测 + 异常告警」的流水线；Cosmos Reasoner 在 16B 规模即可做实时决策
• 视频内容团队：要做可控图生视频；Cosmos3-Super-Image2Video 提供 Sora 级别的时序一致性

关键事实

它和竞品的边界

• vs Sora / Veo / Kling：这些是闭源视频生成产品；Cosmos 同时把理解 + 生成 + 动作三件事做进同一根 Transformer，并开源权重
• vs Wayve GAIA / Tesla Dojo：自驾 / 机器人厂商的内部世界模型；Cosmos 提供同构的开放替代
• vs Hugging Face LeRobot / OpenVLA：纯策略模型，依赖外部数据；Cosmos 是「数据 + 模型 + 训练」全栈
• vs Stable Video Diffusion：传统扩散视频模型；Cosmos 用 MoT 统一架构 + 动作维度，跨模态一致性更好
• vs Isaac Sim / CARLA：传统仿真引擎，需要手工建模；Cosmos 是数据驱动的世界模型，更适合「长尾场景生成」

适合与不适合

适合

• 做 Physical AI（机器人 / 自驾 / 工业）的团队需要大量「带动作标注的合成视频」
• 想在自有机房里跑可商用 / 可微调的视频世界模型，避免闭源 API 锁定
• 已有 Ampere / Hopper / Blackwell GPU 集群，需要 OpenAI 兼容的生成服务
• 想用同一个模型做「视频理解 + 视频生成」两类下游任务

不适合

• 显存 < 24GB：Super 64B 起步就要 4×H100；Nano 16B 也得 1-2 张 A100/H100
• macOS / Windows 开发者：官方仅支持 Linux + NVIDIA 驱动
• 想要「零部署上手」：必须先 git clone + 装权重 + 配 CUDA，比 Sora / Veo 的网页 demo 门槛高
• 想要消费级显卡跑 720p 长视频：当前最大 300 帧 / 24FPS 在 8×B200 上才实时

已知边界

• 推理硬件要求严苛：Cosmos3-Super 64B 满血版需要 4-8 张 H100 / B200，4-bit 量化后仍需 2-4 张
• 生成 prompt 长度建议 < 300 词：超出后时序一致性会下降
• 后训练配方（Cosmos Framework 训练 recipes）尚未完全开源：仓库只发了 inference 部分
• 声音输出与视频同步流是 AAC 48kHz 立体声：需用 ffmpeg 5.0+ 解析
• NIM 微服务需 NVIDIA AI Enterprise 许可：纯开源部分不包含 NIM 商业支持

与文本矩阵的关联

文本矩阵里 nvidia-video-search-summarization-blueprint-guide.md 写过 NVIDIA 的视频检索 blueprint；sana-high-resolution-image-synthesis.md 写过 NVIDIA 的高分辨率图像合成；Cosmos 是这条线索的**「世界基础模型」那一站**——从内容理解（VLM）跨到「预测下一秒会发生什么」（世界模型），是 Physical AI 时代 NVIDIA 给开发者铺好的下一段路。

资源

• 仓库：https://github.com/NVIDIA/cosmos
• 官网：https://www.nvidia.com/en-us/ai/cosmos/
• Cosmos Framework：https://github.com/NVIDIA/cosmos-framework
• 技术报告：https://research.nvidia.com/labs/cosmos-lab/cosmos3/technical-report.pdf
• HuggingFace 模型：https://huggingface.co/nvidia（Cosmos3-Nano / Super / DROID Policy）