腾讯PCG与多家高校联手打造的3D纹理创建平台MVPaint

MVPaint指的是什么？

MVPaint是由腾讯PCG、上海AI LAB、南洋理工大学S-Lab和清华大学联合开发的一款三维纹理创建框架，利用同步多视角扩散技术实现高质量且无缝衔接的三维纹理制作，并确保不同视角下的一致性。该系统由三个主要部分构成：SMG（同步多视角生成）用于初始纹理构建；S3I（空间感知3D修补）负责填补未观察到的部分；UVR（UV细化）则专注于优化UV坐标中的纹理质量。MVPaint在显著改善三维模型的表面细节呈现的同时，也降低了局部不连续性和视图间差异的问题。

MVPaint的核心特性

• 同时创建多个视角版本：从多种角度创建图像，以赋予3D模型基础纹理。
• 三维空间修复技术针对多视角下未能观测到的区域进行纹理定制，以保证3D模型拥有全面的纹理覆盖。
• 紫外线优化(UV Optimization, UVOP)涵盖对UV空间实施的超分辨率技术及采用的空间意识拼接柔化算法，旨在提升UV映射后纹理的质量，并解决由于UV拆分引起的连贯性问题。
• 多个视角的一致性维持MVPaint致力于确保从各种角度生成的纹理具有一致性，从而减轻由视角转换引起的不一致现象。
• 创建高品质细节图像创建清晰无接缝的纹理，以增强3D模型的视觉效果。

MVPaint的运作机制

• 基于控制的二维多视图模型（Control-oriented 2D Multi-view Model）通过运用一个能够基于文字说明创建多个角度图像的主控模型，实现了同步多视角生成（SMG）的功能。
• 从图片转换至图片的模型（Picture-to-Picture Model, P2P）在使用控制基多视角的方法的同时，I2I模型也被应用于3D纹理的初始设置。
• 三维点云修复在UV坐标系里，利用3D点云修复方法来填充未被观测的部分，构成了空间理解三维补全（S3I）的关键要素。
• 在UV坐标下的超高分辨率技术在UVR组件里，通过执行超分辨率操作于UV图像上，以增强纹理的细腻程度。
• 空间认知拼接柔顺于UV空间内，MVPaint识别边界，并运用具有三维意识的平滑技术来调整由UV展开引发的纹理断续问题。
• 维持多个视角的一致性在整个纹理创建流程中，MVPaint通过采用同步的多角度渲染及随后的加工环节，保证了从各个角度看去纹理都能保持一致。

MVPaint的工程网址

• 官方网站PROJECT:mvpaint的GitHub页面: https://github.com/mvPaint
• Git存储库：可在 GitHub 上找到 3DTopia 用户分享的 MVPaint 项目，网址为 https://github.com/3DTopia/MVPaint。
• arXiv科技文章在学术论文数据库中可以找到这份研究的PDF版本，其在线地址为：https://arxiv.org/pdf/2411.02336。该链接提供了直接访问文档的方式，方便读者进行深入学习和参考。

MVPaint的使用情境

• 制作电子游戏在游戏开发中，通过创建高品质的纹理来优化角色、场景及物件的表现力，从而增强玩家的游戏视觉享受。
• 动漫创作：在创作过程中，通过生成统一且清晰细腻的画面质感，动画设计师能够节约宝贵的时间，并显著提升其工作效能。
• 仿真技术中的虚拟现实(VR)与增強現實(AR)技术在使用VR和AR技术的应用程序里，通过赋予虚拟世界内的物体以高清晰度的表面细节，能够提升用户体验的真实感受。
• 建筑工程视觉展示在建筑领域的设计与展示过程中，通过创建逼真的材料质感和表面纹理来增强建筑模型的表现力，从而让客户能更清晰地把握设计理念。
• 商品规划于产品构思期间，M提供了丰富的纹路选项，助力设计师们为产品的呈现增添更加引人注目的视觉魅力。