腾讯与复旦大学共同研发的高精度虚拟试穿技术 —— FitDiT

FitDiT指的是什么？

FitDiT是一项高精度的虚拟试衣技术，由腾讯与复旦大学共同研发。该技术依托Diffusion Transformers（DiT）专注于精细特征的表现力提升服装细节的真实感。通过采用衣物纹理提取技术和先进演化的服饰先验知识，FitDiT增强了对各种织物图案、条纹及文字等元素的识别和再现能力。此外，它还运用扩张-松弛掩模策略来优化衣服尺寸匹配的问题。在一系列定性和定量测试中，FitDiT展现了卓越的表现力，能够迅速生成细节丰富且具有真实感的试穿图像，并以其快速推理性能为虚拟试衣领域带来了显著的进步。

FitDiT的核心特性

• 高度真实的虚拟换装体验创建高度真实的虚拟试衣图片，使用户能够预览自身穿着指定服饰在各种情境中的外观效果。
• 维持纹理意识利用服饰纹理抽取技术和服饰预先演算法，则能精准地捕获并重现衣物上复杂的花纹细节，包括线条、图像与字体。
• 具备尺寸意识的适应性调整采用扩展-缓和遮罩技术，以适应各类服饰的不同尺寸与形态，并避免在尝试不同种类衣物搭配时出现外形细节混淆的问题，从而达成更加精准的衣物匹配效果。
• 高效推断为了维持高品质的虚拟试穿体验，对DiT架构进行了改良，使得处理一张1024×768分辨率图片的时间缩短至4.57秒，从而提升了试穿流程的速度和效率。

FitDiT的运作机制

• 扩散变换器（DiT）FitDiT依托于DiT框架，通过增加高分辨率特征上的参数量及关注度，提升了对服饰细节的处理效能。
• 服饰图案抽取工具采用专业的服饰纹路抽取工具，并根据已有的服饰知识调整和优化其特性，以更精确地把握服饰的各种细腻元素。
• 频率领域中的学习通过采用专门设计的频域距离损耗函数，强化高频频段下的衣物细部特征，从而更好地保持衣物材质与细节的真实感。
• 扩展-放松遮罩方法为了处理尺寸相关的拟合难题，实施了膨胀-放松遮罩方法来调整衣物至合适的长度，并避免在不同种类间的虚拟穿搭中产生超出遮罩范围的服饰效果，从而增强了试穿的真实感和精确度。
• 结构轻量化设计通过优化DiT架构，并去掉对虚拟试穿效果贡献不大的文本编码组件，可以降低模型的整体复杂度，进而加快其训练与推断过程中的效率。
• 结合型注意模型在DenoisingDiT里采用混合注意力机制，把从GarmentDiT获取的衣物特性融入至降噪环节中，以达到高清晰度特性的结合。

FitDiT的工程位置

• 官方网站项目页面：fitweb.net/HealthOptimize
• Git存储库：在GitHub上可以找到由Boyuan Jiang维护的FitDiT项目，网址是https://github.com/BoyuanJiang/FitDiT。
• 关于arXiv的技术文章这篇论文的详情可以在该链接中找到：https://arxiv.org/pdf/2411.10499，它提供了深入的研究内容。

FitDiT的使用情境

• 在线购物商城在服装零售的网上平台中，通过技术手段让顾客能够预览自身穿着各类服饰的模样，从而增强消费者的线上购买乐趣及满足感。
• 服装界设计师通过呈现他们的设计理念，使客户能在购买之前就能预见衣物穿在身上的具体效果，从而提升设计方案的诱人程度。
• 根据个人偏好量身打造服装订制服务让客户享受个性化的试衣过程，保证所订做的衣物在尺码与款式上都能满足客户的特定要求。
• 提升现实生活体验的增强技术(AR)与构建完全沉浸式数字世界的虚拟技术(VR)于AR与VR应用程序内，打造更为逼真的试衣感受，让用户能在模拟世界里为自己的虚拟角色尝试穿着不同的衣物。
• 社交平台社交网络应用程序让使用者在上传图片和影片的同时尝试各种服饰搭配，以此来增强用户的参与感和趣味体验。