中山大学与Pixocial共同开发的虚拟服饰试穿技术 – CatVTON

CatVTON指的是什么？

CatVTON是一款由中山大学与Pixocial共同研发的高级虚拟试衣技术。该技术采用了轻量化设计和高效的训练方法，以实现卓越的虚拟试穿效果。其特色在于使用了相对较少的可调参数（大约49.57M），在确保细节一致性的前提下，能够将衣物平滑地转换到目标人物身上。CatVTON舍弃了以往复杂的网络架构如ReferenceNet和额外图像编码器，简化了推理流程，并省去了诸如姿态估计、人体分割或文本输入等预处理步骤的需要。尽管是在有限的公开数据集上进行训练，这项技术在各种复杂场景中依然展现了出色的适应能力，为时尚行业及消费者的体验带来了革命性的改进。

CatVTON的核心特性

• 人际间的服饰转换CatVTON能够把一套衣物从一个人的穿搭转换到另一个人身上，从而达成个性化的虚拟换装体验。
• 衣物在人身上的试穿体验用户能够上传一幅衣物的展平图像以及一个人像图片，系统则会自动把衣物映射到人像上。
• 广泛的商品类别支持提供多样化的服装试穿选项，涵盖上装、下装、裙装及成套服饰等类别。
• 细微处的一致性确保衣物的形态、质地及细微之处在试穿效果中得以一致呈现。
• 优化操作步骤用户不必执行复杂的数据预处理步骤，例如姿势估算或人物分割，只需要提交基本的图片资料即可。

CatVTON的工作机制

• 简约化网络结构CatVTON采用了精简的网络架构，主要集成了VAE与UNet技术，有效降低了模型所需的参数数量及计算资源。
• 有效参数训练经由实验锁定诸如自注意力机制等核心训练组件，并对其进行调整优化，以达成卓越的虚拟试衣体验。
• 多维空间结合于输入环节中，需把人物与服饰的影像沿空间轴线合并，以维持它们之间特征表述的一致性。
• 简化推导步骤跳过常规的繁琐预处理阶段，只需利用服饰参照图与目标人像图即可实现虚拟试衣。
• 移除多余的限制条件无需借助文本编码器及交叉注意力机制，简化了模型的结构。

CatVTON项目的仓库位置

• 官方网站项目页面访问GitHub上的项目页面：CatVTON by zheng-chong
• Git代码库：在GitHub上可以找到Zheng-Chong开发的CatVTON项目，网址是https://github.com/Zheng-Chong/CatVTON。
• HuggingFace的模型集合访问此链接以查看Zhengchong的CatVTON项目：https://huggingface.co/zhengchong/CatVTON
• 关于arXiv的技术文章在该链接中提供的文档是一篇提交至ArXiv的学术论文草稿，编号为2407.15886v1，读者可以通过访问指定的网址来查阅这篇未经正式出版的文章。

CatVTON的使用情境

• 在线购物商城通过整合CatVTON系统，线上商家使顾客能在实际购买衣物之前预先查看穿戴效果，此举旨在增强用户的购物乐趣并提升其满意程度。
• 潮流设计时装设计师借助CatVTON迅速查看设计方案的上身效果，从而加快设计与反馈的速度。
• 定制化建议电商平台通过运用CatVTON技术向用户推送定制化服饰建议，以此来增强用户的互动体验并提升交易转化效率。
• 社交平台用户可以通过CatVTON在社交媒体平台上生成并分享独特的虚拟试衣图片，以此提升参与度与趣味性。
• 提升现实感的AR应用程序CatVTON在其AR试衣软件里提升了衣物试穿的真实感，让用户能够在虚拟空间内更逼真地预览服装效果。
• 在线时尚展示活动时装企业利用CatVTON平台在线呈现服饰，赋予观者身临其境的视觉享受。