SnapGen – 由Snap携手香港科技大学等多个机构开发的手机端文本转图像模型

SnapGen指的是什么

由Snap Inc、香港科技大学及墨尔本大学等多个机构共同研发的文本到图像（T2I）扩散模型——SnapGen，能够在移动设备上迅速创建1024×1024像素分辨率的高质量图片，并且整个过程只需耗时1.4秒。该模型通过运用379M参数实现了上述性能表现，在减小了自身尺寸与计算资源需求的同时，还在GenEval评分中获得了高达0.66的成绩，超越了不少参数规模更大的SDXL和IF-XL模型。SnapGen采用优化网络结构、跨架构知识提炼及对抗步骤精炼等技术手段来实现其在移动设备上的高效图像生成能力。

SnapGen的核心特性

• 生成高质量的图片在移动端迅速创建分辨率为1024×1024像素的高清图片。
• 高效创建技能在不到1.4秒的时间内实现图片创建，大幅提升了制作效率。
• 改进后的模型尺寸尽管SnapGen的模型规模只有379M，但它生成的图像质量却优于那些拥有更多参数的模型。
• 跨越结构的知识提炼通过从小规模较大的模型获取知识转移，提升小型号模型的内容生产品质。
• 敌对步骤提炼通过整合对抗性训练与知识蒸馏技术，达到分步骤产出高质图像的目标。

SnapGen的工作机制

• 网络结构改进通过对去噪UNet与自动编码器(AE)的网络结构进行细致分析，旨在找到延迟时间与处理效能间的最优组合点。这一过程侧重于削减模型中的参数量及降低算法运算难度，而这一切都在确保图片输出品质不受影响的前提下进行。
• 分层知识转移通过跨平台的知识迁移技术从大型模型中获取信息，并运用分层策略优化训练过程，使得即使在维持小型化模型结构的情况下也能够产出高水准的图像作品。
• 基于时间间隔感知的调整于训练阶段中，运用了能识别时间间隔的调整方法，并融合多种培训目的，以应对各种时间尺度下的预报复杂性。
• 竞争性培训通过融合对抗性训练与知识蒸馏技术，并利用多步的教师模型来加速高品质图像的生成过程。
• 结合抗争导向/Instruction Incorporating Adversarial Guidance在执行知识蒸馏时，通过引入对抗性指引，能够更显著地增强生成图片的真实性和质量。
• 高效率的培训方法采用优化的培训方法，比如将流匹配设定为培训目标，并运用logit-normal抽样于培训过程中，以增强培训稳定性并提升生成效果的质量。

SnapGen项目的网址

• 官方网站PROJECT：访问snap-research的GitHub页面上的snapgen部分
• arXiv科技文章在该论文中（可访问链接：https://arxiv.org/pdf/2412.09619），作者们探讨了其研究主题，通过详尽的分析和数据支持来阐述他们的发现。研究人员采用了一系列先进的方法和技术，以确保结果的准确性和可靠性。

SnapGen的使用情境

• 社交平台上的内容制作用户能够迅速创建定制化的图片，并将其应用于社交网络平台，例如Snapchat中的帖子或是故事中。
• 整合移动应用程序在手机应用程序里加入SnapGen功能，让用户能够进行即时图片创意编辑，比如虚拟服装试穿和滤镜效果的实时查看。
• 娱乐与嬉戏用于实现游戏内部资源的迅速创建，或者赋予移动游戏用户定制化角色与场景的功能。
• 教育培训利用SnapGen创建教学素材里的图片，比如科学示意图或历史情境画面，以提升学习的沉浸感。
• 新闻与传媒新闻记者与传媒从业者能够迅速创建新闻报导所需的图片，以此增强文章的表现效果及吸引力。