SNOOPI —— 基于AI的文字转图片创作平台，优化单阶段扩散算法的效果与效能

SNOOPI指的是什么？

SNOOPI是一款先进的文本转图像创作框架，它通过增强的单一阶段扩散算法优化指导机制来提高其性能和控制能力。该框架整合了PG-SB（精准引导 – SwiftBrush）与NASA（负面抑制注意力调整）两大核心技术。其中，PG-SB运用无分类器引导技术，并结合随机缩放以增加训练过程中的稳定性；而NASA则利用交叉注意力技术处理否定指令，有效地排除图像生成过程中不希望出现的元素。实验证明，在多种评估标准下SNOOPI表现突出，尤其在HPSv2指标上取得了31.08分的成绩，确立了单一阶段扩散模型的新高度。

SNOOPI的核心特性

• 提升从文本生成图像的一次性扩散模型的速度把复杂的多阶段文本转图像扩散算法精简成一步到位的形式，以此来加快生产速度并降低对计算资源的要求。
• 提升模型的可靠性和操控能力依托于PG-SB与NASA的技术优势，SNOOPI能够在培训及推断阶段展现出更为稳健的表现，并实现对生成图像更加精准的调控。
• 提供负面提示指引SNOOPI采用了NASA的技术方案，实现了对负面提示词的兼容处理，在图片创作时能够有效剔除不需要的内容成分，从而增强了其在实际应用场景中的价值和效果。
• 改善图片清晰度SNOOPI能够创建具有高度清晰度和优质细节的图片，它的HPSv2评分为31.08，体现了其卓越的图像品质。
• 多种模型的底座兼容性SNOOPI能够有效地在多种模型底座上运行，如PixArt-α、SDv1.5及SDv2.1等，这体现了其广泛的应用适应性。

SNOOPI的运作机制

• 随意尺寸分类器自主指引PG-SB（Proper Guidance – SwiftBrush）通过调整训练期间教师模型的引导比率来扩展输出范围，使该模型能够兼容多种扩散基础架构，并维持高性能水平。
• 负面提示的融合NASA（Negative-Away Steering Attention）利用交叉注意力机制，在单步扩散模型内整合负面提示，并通过调节中间特征区域内的关注权重来降低不需要元素在最终生成图像中的显现概率。
• 确保模型输出一致VSD框架通过利用预先训练好的扩散模型来提升以文字为基础的图像生成效果，保证产生的图片能够与指导模型的概率分布相吻合。
• 特性筛选依托于NASA的技术框架，SNOOPI能够在特征空间内筛选并移除不必要的特性，在图像生成前剔除多余的元素，从而降低混合伪影的发生概率。

SNOOPI项目的网址

• 官方网站项目https://github.com/snoopi-onestep
• Git存储库：可在VinAI研究机构的GitHub仓库中找到SNOOPI项目 – https://github.com/VinAIResearch/SNOOPI
• HuggingFace的模型集合在Hugging Face的论文页面上可以找到这篇编号为2412.02687的研究文档。
• 关于arXiv上的科技文章访问此链接以查看更新的研究文档：https://arxiv.org/pdf/2412.02687

SNOOPI的使用情境

• 数码艺术制作创作者与设计者能够高效地制作出带有独特风格或特定要素的视觉作品，从而显著提升其创作速率。
• 制作电子游戏在游戏中创建各种场景、人物构思图像及其他资源时追求高效和快捷。
• 宣传与推广市场营销专员利用文案迅速创作出引人注目的广告图片，从而增强营销素材的吸引力并提升其个性化程度。
• 社交平台上的内容创作社交媒体的使用者与内容制作者创作定制化的图片及发布动态，以此来提升互动频率与用户的参与热情。
• 影视与休闲行业于影视创作及文娱行业中，创造特效画面、场景背景或是情节构思板。