Adobe推出的MagicClay —— 一款通过文字指导进行3D模型细节塑造的创新工具

MagicClay指的是什么

Adobe 推出的 MagicClay 是一款集成了网格技术和有向距离场（SDF）的三维建模软件，允许创作者根据文字提示对模型的部分细节进行精雕细琢，而不会影响到其他部位的设计。它能够生成带有纹理的3D模型，并支持无损局部网格修改。通过利用文本指令作为引导，艺术家们可以更加直观且精细地调整他们的作品。MagicClay 将文本转图像的功能转化为一种实用工具，在创作者的工作流程中扮演着重要的角色。

MagicClay的核心特性

• 基于文本指导的三维雕塑使用 MagicClay，用户可以通过输入文本指令来引导对3D模型某部分进行精细雕琢，从而达成局部修改的效果。
• 组合表达形式利用网格与有向距离函数（SDF）相结合的表现形式，融合两者的优点来实现三维建模。
• 无损编辑用户可以编辑选定的部分而不影响模型的其余组件，从而保持原始模型的整体性。
• 依次修改允许对相同网格实施多轮修改，助力创作者逐步提升模型的精细度。
• 维持原有特征在进行编辑时，维持原有的三角形划分特征，比如节点集合，这有助于动画制作及其它后期操作。
• 高品质图像渲染利用网格表现形式来优化SDF的渲染效率，从而达到高清晰度的体积成像效果。

MagicClay的工作机制

• SDF与复合网格表示法采用结合了三角网格与SDF的复合表达形式，这种组合不仅便于对网格进行直接操控，还能够利用SDF的优势来实现更灵活的拓扑结构管理。
• 维持一致性的做法在改进的过程中，确保网格与SDF的协调一致是通过采用多视角一致性损失函数以及实施自适应重建来同时调整这两者的。
• 微分渲染技术采用可微分的渲染方法，确保网格与SDF在多种视角下的呈现效果统一，在颜色显示、透光性和表面方向图像上达到协调一致的效果。
• 区域化与固定成本损耗利用局部化损失与固定损耗的方法，保证修改仅限于用户指定的范围之内，而其他未指定的部分则维持原状。
• 实时网格更新采用诸如ROAR之类的可微分网格重建方法，实现对网格结构的动态调整，涵盖面部拆分、边缘合并与反转等操作。
• 光滑的外貌与规则化的处理采用网格的直接描述来界定光滑部分，并利用拉普拉斯算子矢量化表达局部曲率波动，以此促进网格表面的光滑度。
• SDF规范化通过运用Eikonal损失以及其他的专门针对SDF设计的损失函数来促进SDF对有效距离场表示的学习。

MagicClay的工程链接

• 官方网站项目页面https://github.io/amirbarda/MagicClay
• Git存储库：在GitHub上可以找到一个名为MagicClay的项目，其仓库地址为https://github.com/amirbarda/MagicClay。
• arXiv科技文章访问该链接可获取最新研究论文的PDF版本：https://arxiv.org/pdf/2403.02460，此文档包含了深入的研究内容和分析。

MagicClay的使用场合

• 三维艺术创作创作者能够通过文字描述迅速将其设想转化为三维雕塑与模型作品，这一过程不需要掌握复杂繁琐的三维建模技术。
• 制作电子游戏游戏开发者通过迅速创建角色、物品及场景的初步模型并不断优化，来增强项目的开发速度与效率。
• 动漫创作在制作动画影片与电视剧时，设计并调整精细的三维人物及背景，并确保维持其用于动画效果的关键节点权重及其关联性。
• 虚拟实境(VR)与扩增实境(AR)在运用VR与AR技术时，通过精心设计及提升虚拟物体与场景的质量，为用户营造出更为多样且生动的体验感受。
• 教育培训在教育行业中，利用该工具辅助教学，让学生掌握三维建模的基础知识，并通过实际操作来学习三维设计。