NVIDIA amplía su plataforma de modelos de mundo Cosmos con cuatro nuevos checkpoints de pesos abiertos de la familia Cosmos 3. La novedad está orientada a la simulación interactiva de mundos y a escenas de conducción multi-sensor y multi-vista, según la publicación oficial recogida por Hugging Face y NVIDIA.
Los cuatro modelos son ejemplos post-entrenados de Cosmos 3 Nano, con 16.000 millones de parámetros entrenables. Se distribuyen bajo la licencia OpenMDW1.1, que permite uso comercial y no comercial según sus términos.
Cuatro modelos para conducción y robótica
Cosmos3-Nano-Transfer-Auto genera datos de conducción multi-vista con clima, iluminación y hora del día variados. Admite hasta 11 vistas de cámara, incluyendo ojo de pez, y realiza generación conjunta RGB-LiDAR.
Cosmos3-Nano-Sim-Auto es una variante streaming destilada causalmente de Transfer-Auto. Genera en pocos pasos de denoising chunks sucesivos de vídeo de cámara y LiDAR sincronizados.
Cosmos3-Nano-Sim-Transfer convierte controles de un simulador y un prompt de texto en vídeo fotorrealista. Sus controles incluyen profundidad, segmentación, bordes y blur.
Cosmos3-Nano-Sim-Bimanual predice vídeo a partir de acciones de un robot bimanual o de la cámara. Soporta embodiments YAM y AgiBot, con control por política o joysticks.
Arquitectura y entrenamiento
La arquitectura utiliza un backbone Mixture-of-Transformers. La receta de entrenamiento se organiza en cuatro etapas: adaptación bidireccional, teacher forcing, destilación de consistencia y self-forcing.
Requisitos y recursos para ejecutarlos
Los requisitos publicados son Linux, GPU NVIDIA, Docker y NVIDIA Container Toolkit. La configuración vLLM-Omni publicada se probó en una GB200; esa información no es una especificación de memoria mínima.
Para ejecutar la inferencia de cada modelo hay skills abiertas en GitHub y notebooks. También están disponibles el informe técnico y demos en research.nvidia.com.
NVIDIA en contexto
Los cuatro modelos son ejemplos post-entrenados de Cosmos 3 Nano y forman parte de la plataforma de modelos de mundo NVIDIA Cosmos. Su lanzamiento se recoge en el blog oficial de Hugging Face dedicado a los nuevos modelos abiertos de Cosmos 3 para simulación interactiva de mundos.
