WorldCraft – 港科大推出的3D虚拟世界创建和定制系统

AI工具2周前发布 ainav
25 0

WorldCraft是什么

WorldCraft是香港科技大学推出的基于大型语言模型(LLM)代理的3D世界创建和定制系统,用在创建和定制逼真的3D虚拟世界。基于自然语言交互,让用户能轻松生成复杂的室内外场景,对场景中的物体和布局进行精细调整。WorldCraft由三个核心模块组成:ForgeIt用在单个物体的定制,基于程序化生成实现精确的几何和纹理控制;ArrangeIt负责场景布局的生成,基于分层数值优化实现功能性和美学的平衡;轨迹控制模块支持用户用对话控制物体运动和相机轨迹,生成动画和视频。WorldCraft兼容现有的深度3D生成器,丰富场景资产,让非专业人士高效实现创意设计。

WorldCraft – 港科大推出的3D虚拟世界创建和定制系统

WorldCraft的主要功能

  • 自然语言交互:用户基于简单的文本指令或对话形式,创建和定制复杂的3D场景,无需专业的3D建模技能。
  • 单个物体定制:用户能精确控制物体的几何形状、纹理和材质,实现个性化设计。
  • 场景布局生成:根据用户的设计意图(如功能性和美学要求),生成合理的物体布局。
  • 场景动画控制:用户基于自然语言描述物体或相机的运动轨迹,生成动画和视频。
  • 兼容性与扩展性:系统支持与现有的深度3D生成器(如Infinigen)结合,丰富场景资产,提升视觉效果。

WorldCraft的技术原理

  • 协调代理(Coordinator Agent):管理整个3D场景生成流程,将复杂任务分解为多个子任务,协调其他代理模块完成任务。支持用户与系统的多轮交互,实时调整生成结果。
  • 单个物体生成与定制:基于LLM代理操作程序化生成器(如Infinigen),用自然语言指令生成具有精确几何形状和PBR纹理的3D物体。基于自动验证机制构建动态增长的手册,指导代理完成复杂的生成任务,支持多轮对话编辑。
  • 场景布局优化:将场景布局问题建模为分层数值优化问题,基于模拟退火算法求解最优布局。支持用户用自然语言描述布局需求,将设计意图转化为优化目标和约束条件。
  • 轨迹控制模块:基于ChatCam扩展,支持用户用自然语言描述物体或相机的运动轨迹。将轨迹描述转化为具体的运动命令,实现场景动画的生成。
  • 深度3D生成器集成:系统兼容现有的深度3D生成器,用于引入艺术化的物体和丰富场景细节。基于程序化生成和深度生成的结合,提升场景的视觉质量和多样性。

WorldCraft的项目地址

  • arXiv技术论文:https://arxiv.org/pdf/2502.15601

WorldCraft的应用场景

  • 建筑设计与室内设计:快速生成建筑概念模型和虚拟样板间,基于自然语言定制室内布局和风格,优化设计流程并提升客户体验。
  • 影视与娱乐:创建虚拟电影场景、游戏关卡和动画电影中的复杂场景,降低实景搭建成本,为虚拟现实(VR)和增强现实(AR)体验提供高度逼真的虚拟环境。
  • 教育与培训:设计虚拟实验室、历史场景、地理环境和医疗培训场景,基于沉浸式体验增强学习效果,支持远程教育和专业技能培训。
  • 产品设计与展示:快速生成产品概念模型和虚拟展厅,展示家具、汽车、电子设备等产品的设计,支持个性化定制和虚拟广告场景的创建。
  • 文化与艺术:创建虚拟博物馆、艺术展览、历史建筑和文化节日场景,重现文化遗产,为艺术创作和文化体验提供沉浸式空间。
© 版权声明

相关文章