GPDiT：清华北大联合阶跃星辰推出视频生成模型

GPDiT：一种创新的视频生成模型

GPDiT（Generative Pre-trained Autoregressive Diffusion Transformer）是由北京大学、清华大学、StepFun公司以及中国科学技术大学联合推出的一款新型视频生成模型。该模型巧妙结合了扩散模型和自回归模型的优势，通过自回归方式预测未来潜在帧，从而实现对运动动态和语义一致性的自然建模。GPDiT引入了轻量级因果注意力机制，有效降低了计算成本，并创新性地采用无参数旋转基时间条件策略来编码时间信息。在视频生成、表示学习以及少样本学习等任务中，GPDiT均展现出卓越的性能，充分体现了其在多种视频建模任务中的多功能性和灵活性。

GPDiT的核心功能

• 高质量视频生成： 能够生成具有高时间一致性和运动连贯性的长序列视频，满足广告、影视和动画等领域的创作需求。
• 视频表示学习： 通过自回归建模和扩散过程，深入提取视频的语义信息和动态特征，并将其应用于下游任务中。
• 快速适应能力： 在少样本学习任务中表现出色，能够迅速适应风格转换、边缘检测等多样化视频处理任务。
• 多任务处理： 支持包括灰度图像转换、深度估计和人物检测在内的多种视频处理任务，展现出强大的通用性。

GPDiT的技术创新点

• 自回归扩散框架： 采用自回归方式预测未来的潜在帧，自然地实现了对运动动态和语义一致性的建模。
• 轻量化注意力机制： 引入轻量级因果注意力机制，在减少计算开销的同时保持了生成性能的稳定性。
• 时间编码新策略： 提出无参数旋转基时间条件策略，通过复平面上的旋转变换重新定义噪声注入过程，有效提升了时间信息的编码效率。
• 连续潜在空间建模： 在连续潜在空间中进行建模，显著提高了生成质量和表示能力，为视频处理提供了更强大的基础。

GPDiT项目资源

• 技术论文： https://arxiv.org/pdf/2505.07344

GPDiT的应用前景

• 视频创作： 用于广告、影视和动画等领域的高质量视频生成。
• 编辑功能： 实现风格转换、色彩校正和分辨率提升等多种编辑操作。
• 快速学习能力： 在少样本条件下完成人物检测、边缘检测等任务的高效训练与应用。
• 内容理解： 提供视频自动标注、分类和检索功能，助力内容管理和分析。
• 创意激发： 为艺术家和设计师提供灵感，生成具有艺术风格的创新视频作品。