创建角色：阿里开放源代码的AI三维人物生成系统

创建角色是指什么？

Mach是由阿里巴巴集团智能计算研究院研发的一款人工智能三维数字人构建平台，专注于依据文字描述迅速塑造出真实的三维人物形象。此系统特别适合于为AI代理及元宇宙提供个性鲜明且富有表现力的三维角色需求。其核心机制在于运用大规模语言与视觉模型解析文本中的创作意图，并生成中间图像，随后借助一系列专为人眼感知和三维建模设计的模块将这些图像转换成完整的三维人物模型。

访问创建角色的官方主页入口

• 该项目的官方网站地址为：https://human3daigc.github.io/MACH/
• 在ArXiv上发布的一篇科研文章中：https://arxiv.org/abs/2312.15430
• 在Human3DAIGC组织下的GitHub仓库中可以找到“制作一个角色”的项目资源：https://github.com/Human3DAIGC/Make-A-Character（目前尚未开放源代码）。
• ModelScope 示例：https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/overview

创建角色工具的特点与优势

• 从文本转换为三维人物创建用户能够通过提供文字说明来定义人物的外貌细节，比如脸部特点、头发样式和衣物装扮等信息，随后Mach系统将依据用户的这些描述创建出匹配的三维角色形象。
• 可调整的个性化配置该平台支持使用者全面自定义人物形象，涵盖脸部轮廓、眼形设计、瞳孔色调选择以及发式与色泽搭配，并且还能够调整眉型、唇部样式及鼻梁特征等细节。更进一步地，还能通过加入细纹或痣点来丰富角色的独特性，确保生成的角色完全贴合用户的个性化追求。
• 极高的真实感渲染Mach采用物理基础渲染(PBR)方法，并融合了实际的人体扫描信息来创建极其真实的虚拟人物形象。与传统方式不同的是，它将人物的发型设计为单个发丝构成，以此提升整体的真实度和细节表现力。
• 全面的角色构建创建的人物模型涵盖了从眼睛到衣物的所有元素，包括舌齿及整体外观，旨在让这些人物能够无缝适用于多种情境。
• 动画功能支持该角色装备了高性能的骨架结构，并兼容常规动画效果，从而实现了多样化的动态展示功能，包括丰富的脸部表情变换。
• 适用于多种行业的兼容性解决方案由Mach创建的角色模型采用了清晰的三维展示形式，能够轻松融入游戏与影视领域的常规计算机图形工作流中，极大地便利了之后的动画生产和渲染过程。

创建角色的功能是如何运作的

1. 文字分析及图像线索创建由于提供的原文为空，没有具体内容可供改写。如果您提供一段具体文字，我便能够帮助您完成这项任务。
   • 用户需提供描绘角色特点的文字说明。
   • 利用大规模语言模型（LLM）解析文本内的含义，并识别出重要的脸部特性与属性。
   • 把这些特性转化为视觉提示，例如姿态和边界图像，来引导接下来的图片创作。
2. 参照人物图片创建由于提供的内容为空，没有具体文字供我进行伪原创改写。如果有具体的文本需要处理，请提供相关内容。这样我可以帮助你以不同的表述形式重新组织这些信息，同时确保核心意义不发生变化。
   • 利用Stable Diffusion模型与ControlNet相结合的技术，依据抽取出来的视觉元素来创建参照人物画像。在此过程中，ControlNet负责保证所产生图像的人物姿态积极且面部表情保持中立，为之后进行三维建模提供便利。
   • 通过运用Openpose算法及Canny边缘检测方法，保证面部特征的恰当布局。
3. 精细面部分析定位由于提供的原文为空，无法进行伪原创改写。如果您有具体的段落或句子需要我帮助您改写，请提供相关内容。
   • 通过运用精细的面部标志点（共计431个），能够更为精确地重构人脸及头颅的三维形态。相比常见的68或98个标志点，这套系统提供了更加详尽的数据支持，并全面涵盖了头部区域。
   • 利用合成的图片充当训练资料，并经由多个角度捕获及处理过程来创建这些标记点。
4. 形状创造需要提供具体的内容来进行伪原创改写。由于您提供的信息仅有冒号，并没有具体内容，因此无法完成请求。如果您有特定的文本，请提供给我，我会帮您进行相应的处理。
   • 依据参照人脸图片及精细面部标志点，重构头颅的几何形态。利用将三维网格投影至二维空间的方法来完成对该网格的改良。
   • 通过应用坐标投影损耗及局部光滑限制来维护几何构型的精确性。
5. 图案创作由于提供的内容为空，没有具体的内容可以进行伪原创改写。如果您能提供具体的文本或段落，我很乐意帮您完成这项任务。
   • 借助可微分渲染方法从参照图片里获取纹理信息，并利用多层次分辨率的策略逐渐构建出更高清晰度的纹理。
   • 采用神经去光照技术，移除纹理图片中的多余光照影响，从而获得适用于渲染的漫反射贴图。
6. 纹理校正及完善由于提供的内容仅有冒号，并没有实际的文字信息可供改写，请提供具体的内容以便于我完成您的请求。
   • 调整生成的漫反射纹理，以改善眼睛、嘴唇及鼻孔等部位的质量缺陷。
   • 应用面部分析算法来识别并创建错误区域的蒙版，之后利用泊松融合方法将其与模板的漫反射纹理图结合，以此提升视觉呈现的效果。
7. 头发生长由于提供的原文内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本需要处理，请提供相关内容。
   • 利用二维图片设计多种 hairstyle，并在此基础上实现三维 hair strand 重构。
   • 运用前沿的头发创建科技，比如NeuralHDHair，对模型进行训练以产生高精度的三维发缕。
8. 财产配对请提供需要改写的具体内容，以便我进行伪原创改写。
   • 把创建出的头像同事先准备好的发式、身躯、衣着及装饰物等元素相搭配。
   • 通过运用CLIP文本编码技术来评估输入提示和资产标签间的相似程度，并从中挑选出最为契合的资产。
9. 人物构建请提供需要改写的具体内容。
   • 把所有的生产与契合的部分组合成为一个完全的三维人物造型。
   • 角色模型能够实现动画效果，其动态展示依赖于骨骼和刚体的配合。