智元机器人首发的首个4D宇宙机器人模型 – EnerVerse

EnerVerse指的是什么？

智元机器人团队打造了首个名为EnerVerse的机器人四维世界框架，该框架设计用于通过构建未来的具身环境来协助机器人的复杂任务执行。此模型利用自回归扩散技术，并融入稀疏记忆技术和自由锚点视角（FAV），极大地增强了其在四维内容生成及动作规划方面的效能。实验证明，EnerVerse在机器人行动策划方面表现卓越，处于现有技术水平的前沿位置。目前该项目已经在官方网站和相关学术论文中公开介绍，预计不久将开放模型与数据集供大众使用。

EnerVerse的核心特性

• 未来的空间创造利用自回归扩散模型，EnerVerse 可以创建未来的实体空间场景，辅助机器人基于任务指示与即时观察来制定后续行动方案。
• 有效行动策划EnerVerse 引入了一个由多层Transformer构成的扩散策略模块至其网络结构中，该模块能够即时在逆向扩散过程初期提供未来的行动序列预测，从而保障了行动预估的速度与及时性。

EnerVerse的核心技术机制

• 自主回归扩展模型
  • 分段创建EnerVerse 利用分块自回归扩散方法(chunk-wise autoregressive diffusion)构建未来的实体空间模型。借助扩散模型的技术优势，系统能够依次生成不同时段的空间细节，使机器人在完成复杂的任务时不仅参考即时局部信息，还能够融合多个时间点的环境数据进行决策。
  • 传播模型结构采用融合时空注意力机制的UNet架构，每一个空间模块内利用卷积操作和双向注意力进行建模；而各模块间则借助单向因果关系来维持时间上的连贯性。
• 稀疏存储系统（Sparse Storage System）
  • 内存管控受大语言模型上下文记忆启发，EnerVerse在训练时采用大量随机掩盖历史帧的方法，并且在推断过程中选择较长时间段来刷新其记忆序列。这种方式不仅大幅减少了计算资源的需求，还极大地增强了处理长期任务的能力。
• 自主固定视点（Autonomous Fixed Perspective, AFP）
  • 视点的灵活度FAV 赋予了机器人依据不同情境自如变换观察角度的能力，解决了传统固定多视角方案在狭小空间或存在障碍物时的不足。比如，在类似厨房这样的环境中，FAV 可以很好地应对物体移动导致的视线阻挡问题。
  • 空间统一性借助光线投射的概念，EnerVerse 采用视向量图表来调节观察角度，并且把二维的空间关注度升级成涵盖多角度看的三维空间关注度，以此保证所产生影片在几何上的统一性。
• 扩散策略头部
  • 精准行动预报通过在生成网络后端集成一个多层Transformer构成的Diffusion策略模块，实现了在未来行动序列预测中的即时响应，该模块能在逆向扩散初期阶段就提供行动预估结果。
  • 提供稀少记忆协助于动作预测推断过程中，通过稀疏记忆库保存实际或重构的FAV观察数据，以增强系统执行长期任务计划的能力。

EnerVerse项目的网址位置

• 官方网站PROJECThttps://www.enerverse-site.com/index
• 关于arXiv上的科技文章在该链接中提供的文档为一篇学术论文的PDF版本，具体位置可在arXiv在线库中找到。此资源的标识代码是2501.01895。

EnerVerse使用场景

• 环境识别及判断在自动驾驶技术中，EnerVerse 能够创建未来的场景空间，帮助汽车更好地理解和判断周围环境。
• 机器人操控及组装于工业生产线中，EnerVerse 能够引导机器人执行精密的组装工作。借助构建未来的三维环境，机器可以更准确地把握各部件间的相对位置及正确的安装次序，进而显著提升其组装的速度与精准度。
• 品质检查及保养EnerVerse 亦可用于提升工业装备的质量检验与保养工作。通过运用生成的虚拟环境，机器人能够执行更加详尽的装置巡查，从而尽早识别出可能存在的缺陷或隐患。
• 家居服务在家中使用时，EnerVerse 能够提升服务机器人的任务理解与规划能力。比如，在执行如整顿居室或转移物件的任务时，该机器人能够借助创建未来的空间布局来预判物体的位置安置及行进路线。
• healthcare support于医疗卫生行业之中，EnerVerse 能够协助医疗机械人执行外科手术或是恢复训练。借助创造的前瞻空间环境，这些机器能更加精准地设计手术流程或者复健活动。