GaussianCity – 南洋理工大学 S-Lab 团队推出的 3D 城市生成框架

GaussianCity是什么

GaussianCity 是南洋理工大学 S-Lab 团队推出的高效无边界3D城市生成框架，基于3D高斯绘制（3D-GS）技术。引入紧凑的 BEV-Point 表示方法，将场景的显存（VRAM）使用量保持在恒定水平，解决大规模场景生成中显存和存储需求过高的问题。GaussianCity 推出空间感知的 BEV-Point Decoder，基于点序列化器和点变换器捕捉BEV点的结构和上下文特征，生成高质量的3D高斯属性。GaussianCity在无人机视角和街景视角的3D城市生成任务中表现出色，相比现有方法（如CityDreamer）速度提升60倍，在生成质量和效率上均达到新的高度。

GaussianCity的主要功能

• 高效生成大规模3D城市：快速生成逼真的、无边界的城市环境，支持从无人机视角到街景视角的多样化场景。
• 低显存和存储需求：基于紧凑的 BEV-Point 表示方法，将显存和存储需求保持在较低水平，解决传统方法在大规模场景生成中的显存瓶颈问题。
• 高质量视觉效果：用空间感知的 BEV-Point Decoder，生成具有高细节和真实感的3D城市，支持风格化编辑和局部修改。
• 实时渲染与交互：支持实时渲染和交互，快速生成高质量的3D城市图像，适用于游戏、动画、虚拟现实等场景。

GaussianCity的技术原理

• 3D高斯绘制（3D-GS）：用3D高斯分布表示场景中的物体和结构，GPU加速渲染，实现高效的3D场景生成。
• BEV-Point 表示：将3D场景中的点信息分解为位置属性和风格属性，基于鸟瞰图（BEV）和风格查找表进行压缩，确保显存使用量不随场景规模增加而增长。
• 空间感知的BEV-Point解码器：基于点序列化器和点变换器，捕捉BEV点的结构和上下文信息，生成3D高斯属性，实现高质量的3D场景渲染。
• 高效的渲染流程：结合位置编码器和调制MLP，生成3D高斯属性，用高斯光栅化器将属性渲染为最终图像。

GaussianCity的项目地址

• GitHub仓库：https://github.com/hzxie/GaussianCity
• HuggingFace模型库：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技术论文：https://arxiv.org/pdf/2406.06526

GaussianCity的应用场景

• 游戏与虚拟现实（VR）：快速生成逼真的虚拟城市，支持实时渲染和交互，减少开发成本和时间。
• 动画与影视制作：高效生成复杂城市场景，支持风格化渲染，提升制作效率。
• 城市规划与建筑设计：快速生成城市布局和建筑背景，辅助规划和设计的可视化。
• 自动驾驶与交通模拟：生成逼真的交通场景，用于算法测试和交通流量分析。
• 地理信息系统（GIS）：将地理数据快速转换为3D可视化场景，支持城市建模和分析。