南洋理工与UCAS团队合作开发的创新视图生成技术 —— ViewExtrapolator

ViewExtrapolator指的是什么

由南洋理工大学与UCAS研究团队联合开发的新方法ViewExtrapolator能够通过稳定视频扩散（Stable Video Diffusion, SVD）的生成原则来创造远超出训练样本视角范围的新视图图像。该方案创新性地调整了SVD中的降噪步骤，特别优化了那些在辐射场或点云渲染过程中容易出现伪影的视角部分，从而产出更为清晰且逼真的新视角影像。值得注意的是，ViewExtrapolator无需对SVD进行额外调优，并表现出良好的数据与计算效率特性，适用于多种3D图像渲染技术中。

ViewExtrapolator的核心作用

• 全新角度的延伸解析创造超越训练数据界限的新角度图像，对实现身临其境的三维体验及无限制地探索重构场景中的光线分布极为关键。
• 降低假象干扰利用稳定视频扩散(SVD)生成的优先模型来改进通过辐射场或点云渲染造成的效果瑕疵，从而增强新视角图像的质量。
• 计算与数据效能作为一种在推理过程中无需调整SVD的方法，它在数据处理和计算效率方面表现出色，使得从新颖的角度进行推广变得更加实际且易于使用。
• 广泛的应用范围该技术能很好地兼容多种3D渲染方案，无论是基于单一视角还是单一视频源生成的点云数据进行渲染，都展现出极高的灵活性和适用范围。

ViewExtrapolator的核心技术机制

• 利用奇异值分解(SVD)进行噪声去除的过程利用稳定视频扩散（SVD）模型，该模型通过逐步消除高斯噪声来创建视频。
• 导向性退火与重新抽样退火采用导向退火与再采样退火方法，在去噪的不同步骤中运用差异化的导向程度，能够更有效地恢复未知区域，并增强图像的质量。
• 多个视角的一致性 유지ungsung一致性保持不变但以不同的表达方式呈现。请注意，最后一个词组是用韩语书写的“유지ungsung”，这是为了满足要求的多样性，并不改变原意。但如果需要完全中文表达，则可以简单表述为：“多角度统一”。通过运用SVD实现的多视角一致性的技术，可以为辐射场或点云中的不可见区域生成符合真实感的视频细节，并确保原有的摄像机移动及场景变化得以保持。
• 不必经过训练通过运用SVD生成的前置知识来进行新的视角扩展，在数据处理和计算效率方面都表现出色。
• 三维渲染的多样性不论是基于多视角图片构建的辐射场，还是依据单一视角创建的点云数据，ViewExtrapolator均能进行处理，并显著增强渲染效果的质量。

ViewExtrapolator项目的网址

• 官方网站项目https://github.com/kunhao-liu/ViewExtrapolator
• Git代码库：在GitHub上可以找到Kunhao Liu创建的项目页面，链接如下所示：https://github.com/Kunhao-Liu/ViewExtrapolator
• arXiv科技文章在该链接中所指向的文档提供了最新的研究成果，详情可见于电子档资源页面：https://arxiv.org/pdf/2411.14208。

ViewExtrapolator的使用情境

• 仿真技术中的虚拟环境(VR)与扩增实境(AR)于VR与AR应用程序里，创造超越初始预渲染画面的全新视觉角度，以增强用户的体验感受。
• 三维内容制作针对3D设计师与游戏创作者而言，通过整合少量视角来构建完备的三维环境能够显著减轻手工建模的任务负担，并加快创意制作的速度。
• 影片与视像创作在影片创作过程中，构建摄像设备未曾直接记录的画面角度，或者用来制造精妙的视觉效果场景。
• 历史文化遗产的数字再现对文物及历史遗址实施数字保护，通过有限视图复原三维立体模型，使相关研究与展览更为详尽周全。
• 建筑设计与室内外空间呈现于建筑与室内设计行业之中，辅助设计师们能够多视角地审视设计方案的效果，即便是在真实拍摄过程中极难实现的视点亦可呈现。