谷歌与卡内基梅隆大学合作研发的高精度3D服饰创作科技 FabricDiffusion

FabricDiffusion指的是什么

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的技术，专注于高保真三维服装生成。该技术能够将二维图像中的衣物纹理及印花细节精准地应用到各种形态各异的三维服装模型上。通过利用去噪扩散模型并借助大规模合成数据集纠正输入纹理可能出现的失真问题，FabricDiffusion可以生产出包含漫反射、粗糙度、法线贴图以及金属质感等多种材质贴图的效果，从而实现对3D服装在不同光照环境下进行精准再照明与渲染的目标。这项技术展现了其出色的性能和广泛的适用性。

FabricDiffusion的核心作用

• 高精度材质转换实现从二维服装图片中自动化抽取花纹与图案，并将其应用到三维服装模型之上。
• 管理各种材质图案应对多种材质、设计及表面风格的处理。
• 创建多款材质映射图像能够创建散射光照映射，并制作出反映表面粗犷程度、方向细节及金属特性的图像。
• 在不同光线条件下呈现渲染效果提供在各种光线环境下对三维服饰实现精确再照明与渲染的支持。
• 零实例推广当利用全部由合成渲染图构成的数据集进行训练时，目标是将其性能推广至真实世界中的图像。

FabricDiffusion的运作机制

• 降噪扩展算法采用去噪扩散模型来训练系统，以从受损的纹理图片中重构未受损且能无缝拼接的材质图案。
• 大量生成的数据集合创建一个大型综合数据集，其中包括逾十万张纺织色彩图片、三千八百多幅材质的PBR纹理图像、七千种图案以及二十二个三维服装网格模型，并利用这些数据来训练机器学习模型。
• 表面图案校正通过模型训练来修正输入纹理图片中的变形问题，并创建一种紧密配合基于物理的渲染(PBR)材料制作过程的平面贴图。
• 特性迁移：能够从单件衣物的图片中提取多种特性，如纹理样式、材料特质以及精细的印刷设计与品牌标识。
• 标准化与无缝拼接所创建的纹理图像经过了标准化处理，并在衣物的UV坐标系内重复排列，能够完美融入当前使用的基于物理渲染的材料估算过程。
• 根据设定的条件创造生成的内容。该系统依据提供的服饰图片创建相应的材质图案，并完成从二维至三维的空间高品质纹理由平面转移到立体表面的过程。

项目的网址为FabricDiffusion

• 官方网站URLExceptionURLExceptionhttps://github.com/humansensinglab/fabric-diffusion
• 关于arXiv的技术文章在学术预印本网站上可找到该研究的完整文档，其链接为：https://arxiv.org/pdf/2410.01801，此文献包含了详细的研究发现与分析。

FabricDiffusion的使用情境

• 在线试装于电商及服饰销售领域内，构建虚拟更衣室让顾客能够在网上尝试穿戴三维衣物，从而增强消费者的购物流程体验。
• 娱乐与嬉戏在游戏中迅速创建带有逼真质感的三维服饰，以提升角色外观的真实度。
• 虚拟实境（VR）与扩增实境（AR）于VR与AR的应用场景里，构建高度真实的数字世界及人物形象，以增强用户的沉浸体验。
• 影视作品创作在电影电视创作过程中，通过创建或调整服饰图案来提升特技效果及服装设计的工作效率。
• 时装创作与样版打造设计师们在新设计理念与纹理上进行探索，能够迅速构建服装的初步模型，并加快设计方案的更新速度。