字节跳动发布的单步骤图象与视频创造计划 —— Seaweed APT

Seaweed APT指的是什么？

字节跳动开发了名为Seaweed APT的对抗性后训练技术，旨在简化高质量图像与视频生成的过程。该方法利用预设的扩散模型直接对实际数据进行对抗训练，而非依赖于预先构建的教师模型来创建目标内容。这种方法使得在单一生成步骤中就能产出高清晰度的画面和视频成为可能。Seaweed APT通过引入确定性的蒸馏初始化技术、改良判别器设计以及接近R1正则化的优化策略，进一步提升了其训练稳定性和输出质量。实验数据显示，采用这种新技术能够在一个步骤内完成1024像素图像及长度为两秒、分辨率为1280×720和帧率高达24fps的视频生成，并且在视觉真实感方面超越了现有的多步扩散模型技术。

海藻APT的核心作用

• 高精度的单一步骤图像创造能够创建分辨率为 1024像素的图片，并在视觉真实感、细节呈现及结构完整性的层面达到类似于多层次扩散模型的效果。
• 一步到位的高清视频制作实现了 1280×720 分辨率、每秒 24 帧以及时长为 2 秒的视频创作，这一成就大幅提升了视频制作的速度与品质。
• 即时创建功能使用单个 H100 GPU，Seaweed APT 可在 6.03 秒内创建一段持续时间为 2 秒的、分辨率为 1280×720 的 24fps 视频；当并行利用 8 个 H100 GPU 进行处理时，整个视频生成流程能够达到实时效果。
• 超出预先训练的模型范围通过在实际数据中实施对抗训练，Seaweed APT 能够省去预先生成视频样本所带来的高成本，并且在一些评价指标上表现出优于事先经过训练的扩散模型的能力，尤其是在增强的真实感、精细度及处理曝光问题方面更为突出。

海藻APT的操作机制

• 预先训练的扩散模型启动设置以预先训练好的扩散模型变换器(DiT)为起点进行初始化，这样可以省去计算视频样本前期准备的巨大开支，并且在一些评价指标上还能优于原有的预训练模型。
• 竞争性培训通过采用对抗性学习方法来处理实际数据集，并直接利用这些实际数据来进行模型训练，可以产生更加贴近于实际情况的数据样本，从而增强所生成内容的质量和真实性感受。
• 设计器构建使用确定性的蒸馏方法来启动生成器，并通过离散时间的一致性蒸馏及均方误差损耗来进行初始设置。在整个训练阶段，该生成器着重于提升其单一步骤的产出效能，并且持续以最终的时间步T作为输入。
• 鉴别器构想：通过利用预先训练的扩散模型进行初始化，该判别器能够在潜在空间中直接执行操作。此判别架构由总共包含36个Transformer模块的设计组成，并拥有80亿个参数。得益于在多个时间点新增交叉注意力机制的能力，这个判别器能够更加有效地识别真实数据与生成的数据之间的差异。
• 接近 R1 规范化为了处理大规模 Transformer 模型中关于 R1 正则化的复杂梯度计算挑战，提出了一种近似策略。该方法通过向实际数据施加低方差的高斯噪声来降低判别器在真实样本上的梯度大小，从而达到与原始 R1 正则化相同的效果。
• 培训要点首先对图像数据集进行模型预培训，随后过渡到视频数据集上的进一步精炼。借助大规模H100 GPU集群与梯度累积技术实现有效的大批量处理，从而优化了整体的训练可靠性和网络架构的一致性。利用指数移动平均（EMA）方法配合恰当的衰减系数来维持稳定的训练状态，并在培训流程中动态调整学习率以确保整个过程保持平稳进行。

Seaweed APT的工程链接

• 官方网站项目页面：https://marine-provision.com
• 关于arXiv的技术文章访问此链接可查看最新的学术论文：https://arxiv.org/pdf/2501.08316，该文档包含了深入的研究内容。

海藻APT的使用场合

• 制作视频广告高效创建多样化且高品质的视频广告，以降低制作开支并节省时间。
• 电影与电视节目制作制作符合特定风格的影视片段，以增强创作效率及丰富内容种类。
• 社交平台发布的内容创造定制化且高品质的视频与图片，提升用户的互动体验及内容的吸引力度。
• 制作电子游戏迅速创建游戏中的人物、环境与物品图片，加快游戏制作进度。
• 教育培训制作教育视频与培训资料，以提升教学成效及培训水平。