服饰梦想家 – 上海大学携手腾讯及其他高校共同研发的三维衣物创造科技

ClotheDreamer指的是什么？

由上海大学、上海交通大学、复旦大学以及腾讯优图实验室联合研发的3D服饰创作技术——名为ClotheDreamer，能够依据文本描述创造出高度逼真且适合穿戴的三维衣物模型。该技术采用三维高斯分布作为基础，并借助分离式服装高斯点云（DCGS）实现了服装与人体模型的有效解耦优化；同时，通过双向评分蒸馏采样（SDS）方法进一步增强了服饰渲染效果的质量。ClotheDreamer具备定制化设计模板的功能，使得生成的衣物能够适应各种体型的需求，尤其适用于虚拟试衣体验及物理精确动画制作场景。

ClotheDreamer的核心特性

• 基于文本的三维服饰创造依据文字说明自动创建对应的三维服装模型。
• 高品质渲染所创建的3D服饰具备精细的细节与极高的真实度。
• 佩戴便捷性所创建的服装模型适用于虚拟试穿，能够实现模拟穿搭效果。
• 精准物理动画提供精准物理效果的动态动画给生成的服饰。
• 个性化模版录入允许用户上传自己的服装设计模板，以创建独特的3D服饰效果。
• 适合各种体形所创建的服饰能够适应各种身形的虚拟角色。

ClotheDreamer的核心技术机制

• 解耦衣物高斯散射（DCGS）采用创新的表现手法，把衣物与身体各自描绘成高斯模型形式，从而能够实现单独的改良与呈现效果。
• 双路径评分蒸馏采样（SDS）通过运用预先训练好的二维扩散模型来提升三维衣物与人身体现的效果，该方法单独引导衣物及人身体积图的彩色图像渲染过程，从而增强最终生成内容的质量。
• 内容阐释分析通过运用语言处理技术（例如类似于ChatGPT的模型），对文字叙述进行剖析以明确衣物类别及其特性，进而为此类服装的设计初期设定奠定基础。
• 无实例学习未见到具体款式的服饰时，创建对应的三维服装模型。
• 更新的剪枝方案对于宽松服饰所采取的裁剪方案，旨在防止在改进过程中不慎删除重要的节点数据，从而确保衣物的整体性不受影响。
• 基于模板的服饰创作运用定制化的服饰模版格网来指导三维衣物的设计制作，以增强其个性特征及实用价值。

ClotheDreamer项目的所在地URLException

• 官方网站PROJECThttps://ggxxii.github.io/fashionvision
• Git代码库：在GitHub上的项目地址为ggxxii/clothedreamer
• 关于arXiv的技术文章在学术论文数据库中可以找到编号为2406.16815的文档，具体链接如下所示：https://arxiv.org/pdf/2406.16815。

ClotheDreamer的使用情境

• 潮流造型设计设计师能够迅速创建并更新3D服饰模型，加快了设计流程，并能在模拟环境里查看设计方案的效果。
• 在线试衣体验于电商领域内，消费者通过数字化场景尝试穿着衣物，此举旨在优化购物流程，并降低商品退换比率。
• 娱乐与嬉戏游戏创作者为虚拟人物打造了各式各样的服饰，以供玩家选择更为丰富多彩且个性化十足的角色装扮方案。
• 影片与动漫创作于电影与动画领域内，高效创建并实现3D服饰的动态展示，旨在加速生产流程、缩减开支。
• 虚拟实境(VR)与扩增实境(AR)在虚拟现实与增强现实的应用里，用户能够享受到身临其境的服装试穿及设计感受。