虚拟试衣框架 DreamFit：字节联合清华和中山大学推出

DreamFit是什么

DreamFit是由字节跳动团队携手清华大学深圳国际研究生院及中山大学深圳校区共同打造的虚拟试衣框架，专注于轻量级服装的人体图像生成领域。该框架通过优化模型复杂度和训练成本，在生成高质量、一致性强的人物图像方面表现突出。DreamFit具有良好的泛化能力，能够支持不同风格的服装和多种提示指令，并且可以与社区控制插件无缝对接，降低使用门槛。

DreamFit的主要功能

• 即插即用：支持与社区控制插件无缝集成，操作简单，极大降低使用难度。
• 高质量生成：基于多模态模型的丰富提示能力，生成高一致性和逼真度的图像。
• 姿势控制：用户可以指定人物姿势，生成符合特定动作姿态的图像。
• 多主题服装迁移：能够将多种服装元素融合到同一画面中，适用于电商平台展示等多种场景需求。

DreamFit的技术原理

• 轻量级编码器（Anything-Dressing Encoder）：采用LoRA层对现成的扩散模型（如Stable Diffusion中的UNet）进行扩展，构建轻量级服装特征提取器。通过仅训练LoRA层而无需调整整个UNet结构，在显著降低模型复杂度的同时优化了训练成本。
• 自适应注意力机制：引入两个可训练的线性投影层，实现参考图像特征与潜在噪声的对齐。借助创新性的自适应注意力机制，将参考图像特征自然融入UNet结构，确保生成图像的高度一致性。
• 预训练多模态模型（LMMs）：在推理阶段利用LMMs重写用户输入文本提示，增加对参考图像的精细描述，有效减少训练和推理过程中的文本提示差异。

DreamFit的项目地址

• GitHub仓库：https://github.com/bytedance/DreamFit
• 技术论文：https://arxiv.org/pdf/2412.17644

DreamFit的应用场景

• 虚拟试衣体验：为消费者提供在线试穿服务，提升购物体验和决策效率。
• 服装设计辅助：帮助设计师快速生成服装展示图像，缩短设计周期。
• 电商展示优化：在电商平台中应用，实现商品的多角度、多场景展示效果。
• 个性化定制：支持用户自定义姿势和服装搭配，满足个性化需求。