英伟达发布的生成式宇宙基础模型平台

什么是Cosmos？

NVIDIA推出的Cosmos是一个用于构建生成式世界的平台，其目标是推动物理人工智能系统的发展，特别是在自动驾驶汽车和机器人技术方面取得进展。该平台能够根据文本、图像或视频的输入提示创造出高度逼真的虚拟环境状态，并为相关应用提供独一无二的视频输出服务。它整合了生成世界模型、高级标记工具及加速视频处理管线，支持开发者创建大量基于物理原理合成的数据集，从而降低对实际数据的需求量。Cosmos同样配备了多种安全措施以保障信息的安全性和合法性合规性要求。通过调整和优化Cosmos平台的核心算法，开发人员可以构建出符合具体应用场景需求的个性化人工智能系统。

Cosmos的核心特性

• 创建模拟世界的状况Cosmos能够依据文本、图片或视频的指示创造出极其逼真的虚拟环境，非常适合应用于自动驾驶技术和机器人领域。
• 创造型模型该平台利用生成式模型迅速创建接近现实世界情境的数据集，助力开发者对现有AI系统进行训练及效果测评。
• 高级标签工具与数据分析处理Cosmos融合了先进的标记工具与加快视频处理的速度管道，使得产生的数据能够在之后的模型培训过程中起到更重要的作用。
• 安全保障及规范遵守该平台亦配备了安全保障措施，以维护数据的保密性和符合相关规定。
• 公开模型授权Cosmos将在Hugging Face及NVIDIA NGC目录下以开放模型许可证的形式供用户使用，助力开发者实现应用程序的个性化开发。

Cosmos的核心技术机制

• 基于生成式的全球基本模型（WBM）Cosmos采用尖端的生成式模型技术构建其系统，涵盖了扩散模型以及自回归Transformer架构，能够创造出极为逼真的模拟数据，几乎媲美实际环境中的观测结果。
• 高端分词器（Cosmos 分词工具）此标签生成工具采用先进的编码-解码架构，并融合了三维因果卷积与注意机制，以优化空间时间数据分析的效果。它能够把影像及影片转换为压缩比高且清晰度佳的数据标签，从而让人工智能系统更加高效地处理视觉信息。
• 加快视频处理流程（NeMo Curator）Cosmos配备了一个高效的视频处理流水线，能够在极短的时间内完成大规模的视频数据分析工作。举例来说，NeMo Curator系统可以在两周的时间里解析超过两千万小时的视频资料。

Cosmos的一系列模型版本

微型模型

• 特性适合用于需要低延迟和实时处理的场景。
• 模型尺寸大约包含40亿个参数。
• 使用场景适用于需迅速反应的使用情境，例如即时视频解析及简易机器人操控作业。

卓越模型

• 特性：供应高效率的标准测试。
• 模型的参数量大约包含70亿个参数。
• 使用情境适合于要求高性能与高精确度的应用场景，例如自动驾驶汽车中的环境认知及决策辅助，还有复杂的机器人作业仿真与培训。

超级模型

• 特性致力于达到最高的质量标准和精准程度。
• 模型大小大约包含140亿个参数。
• 使用场景适合需要极高精准度与品质的应用场景，例如精细的自动驾驶仿真或精密的工业机器人运作仿真。

Cosmos项目的仓库链接

• 官方网站：在NVIDIA的研究出版物中有一篇文章发布于2025年1月，标题为《宇宙》（Cosmos）。
• GitHub代码库：可在NVIDIA的GitHub仓库中找到Cosmos项目的地址为 https://github.com/NVIDIA/Cosmos
• HuggingFace的模型集合访问此链接以查看NVIDIA在Hugging Face平台上整理的cosmos集合：https://huggingface.co/collections/nvidia/cosmos
• 学术文章：在NVIDIA Cosmos中可访问的内容链接为https://d1qx31qr3h6wln.cloudfront.net/publications/NVIDIA%20Cosmos

Cosmos的使用情境

• 仿真驾车情境Cosmos能够创建多种天气与道路状况的模拟数据，丰富了自动驾驶系统训练时可用的情境。
• 改进策略模型利用创建的众多高真实感驾驶情境，Cosmos能够支持自动驾驶技术于虚拟空间内实施增强学习，改进其决策算法，并评估面对多样情况的表现。
• 在多样化环境下进行的适应训练Cosmos能够实现对复杂环境的实时仿真，以便机器人的感知系统能利用生成的数据进行锻炼和优化。
• 指引及操作实施通过利用由Cosmos创建的虚拟环境状态信息，机器人能够更加准确地感知并融入其周围的现实场景中，从而提升导航精度与任务完成效率。
• 高度真实的环境创建Cosmos具备制造极度真实的虚拟环境的能力，非常适合用于VR游戏及模拟培训之中。举例来说，开发人员能够利用Omniverse搭建出三维的场地，并借助Cosmos的力量将这些场地转化为极其逼真的视觉效果，从而让机器人在这样的仿真场景中接受训练。
• 制造业的虚拟镜像技术通过整合NVIDIA的Omniverse与Cosmos技术，能够构建适用于工厂及仓储场景下的工业数字孪生环境，从而实现更高效的仿真测试以及性能提升工作。此举有助于在错综复杂的制造基地与物流配送网络中改善人工设计流程、运营效率和整体优化水平。

Cosmos的实际应用场景

• 优步自主驾驶技术的研发作为率先应用Cosmos技术的企业之一，Uber利用生成式人工智能大大加快了开发安全且具备高度可扩展性的自主驾驶解决方案的步伐。通过提供大量的模拟数据，这一举措显著增强了Uber自动驾驶系统在多种驾驶环境中的模型训练与优化效果，从而进一步提升了其自动驾駛技术的安全标准和可靠性水平。
• 小鹏汽车仿真培训小鹏汽车利用Cosmos平台创建多种气候与路面状况下的合成驾驶数据来模拟训练其自动驾驶技术。这种做法让车辆能够在虚拟雨雪天气及浓雾等复杂环境下，以及城市街道或高速公路上的多样化路况中进行学习，从而优化环境感知能力、决策过程和操控反应，最终提升实际道路行驶中的表现。
• 1X机器人的动态策划方案借助于Cosmos仿真引擎的强大功能，1X公司赋予了其机器人的高精度力学、运动学及动力交互建模能力。利用闭环模拟技术，这些机器人能够在虚拟环境中进行动态路径规划与环境适应性优化处理，从而在实际操作中实现更为精准的导航和任务执行效果。