GeneMAN —— 由上海人工智能实验室携手北京大学等多个学术机构开发的三维人物模型构建平台

GeneMAN指的是什么？

GeneMAN是由上海AI实验室、北京大学、南洋理工大学及上海交通大学共同研发的一款三维人物创建框架，它能够根据单一图片生成高度逼真的三维人像模型。该框架在构建过程中并不依靠参数化人体模型，而是通过利用多种高质量的人类数据集——涵盖3D扫描图像、多视角视频片段、单张照片以及合成资料来训练特定于人类的二维和三维预设模型。GeneMAN采用几何初始化技术、雕刻工艺及跨空间纹理优化手段，旨在从自然环境中的图片中提取出高品质的三维人体形态，无论人物在图中的比例大小、姿态或着装如何变换均能保持高质量生成。

GeneMAN的核心作用

• 应对多样的人体尺寸无论是展示人物的全身、半身或是细节特写，GeneMAN都能够构建对应的三维模型。
• 适合各种服饰与姿态GeneMAN具备处理多种服饰及人体姿态的能力，涵盖自然姿态与日常物件。
• 应对户外影像GeneMAN在处理自然环境中的图片方面表现出色，这类图片通常被称为“野外数据”，它们往往具有多样的复杂背景及变化的光照情况。
• 创建高水准的表面图案利用多空间纹理优化程序，GeneMAN能够创建详尽且与原始图片高度契合的三维人物表面图案。

GeneMAN的核心技术机制

• 对二维与三维人体前置模型的培训由于提供的原文为空，没有具体内容可供改写。如果您有特定的文本需要进行伪原创，请提供相关内容。
  • 从文本生成图像的扩散型模型构建一个专注于人类形象的文本至图像扩展模型，以创造二维人物基础视觉表示。
  • 视角依赖扩展架构开发一种基于视角的条件扩散模型，应用于创建三维人体预设。
• 几何形体的初始设定及雕琢工序由于提供的内容仅有冒号，并没有实际的文字信息供以改写，请提供具体的内容以便我能够完成您的请求。
  • 不使用模板的几何初始设置运用NeRF（神经辐射场）技术来初始构建一个没有预先设定模型的三维几何结构。
  • 融合先前知识与成本函数利用GeneMAN中的二维与三维先前知识，并通过结构差异损失（SDS损失）来指导几何初始设置。
  • 参照损耗通过采用参照损耗来保证与源图片的精准匹配。
  • 精细的高清晰度通过将NeRF转化为DMTet（一种深层次的多边形网格），实现对几何结构的精细调整至高分辨率级别，并借助预先训练好的专注于人类特征的法线与深度图适配扩散模型进行指导。
• 多重空间纹理优化程序由于提供的内容为空，没有具体文本可以进行伪原创改写。如果您提供具体的段落或句子，我很乐意帮您完成这项任务。
  • 粗糙表面创建运用多视角纹理方法来创建大致的表面纹路。
  • 详细划分潜在区域在潜伏区域里逐步优化表面细节。
  • 像素级细节优化通过利用优化过的UV图在像素区域获取精细的纹理细节，并运用依托于二维前置知识的ControlNet来进行提升。

GeneMAN项目的所在地

• 官方网站项目https://github.com/roooooz/GeneMAN
• Git代码库：https://github.com/roooooz/GeneMAN（计划开放源代码）
• 关于技术的arXiv学术文章访问此链接可查阅相关文献: https://arxiv.org/pdf/2411.18624

GeneMAN的使用情境

• 在线试穿衣服用户可上传个人的全身照以创建三维模型，此模型可用于虚拟试装，从而获得更加逼真的服饰搭配效果。
• 娱乐与游玩在游戏与影视创作领域内，通过构建或调整人物模型来实现更加个性鲜明且高度真实的角色形象设计。
• 提升实际体验的增强现实(AR)与创造完全虚拟环境的虚拟现实(VR)在增强现实与虚拟现实应用程序里，创建用户三维形象以提升体验的沉浸度及互动效果。
• 潮流造型设计设计师迅速把构思的草图转化为三维模型，从而加快了整个设计进程。
• 身体锻炼与健康维护通过解析用户上传的三维人体模型，给出定制化的锻炼指引与健康提案。