阶跃星辰开放的文本转视频模型 – Step-Video-T2V

Step-Video-T2V指的是什么？

Step-Video-T2V 是由阶跃星辰团队开发的一款开源文本转视频预训练模型，它包含了 300 亿个参数，并能够产出长度达 204 帧的高质量影像内容。该模型采用了基于深度压缩技术的变分自编码器（Video-VAE），实现了在空间上16×16和时间上8倍的数据压缩效果，大幅提升了训练与推理的速度。Step-Video-T2V 还配备了双语文本解码组件，能够处理中文及英文输入，并运用直接偏好优化(DPO)技术来进一步增强视频生成的质量。此模型依托扩散Transformer（DiT）框架以及3D全注意力机制，在制作充满动态动作和高度美学价值的影片方面展现出了卓越的能力。

Step-Video-T2V的核心特性

• 高品质视像创作Step-Video-T2V 配备了 300 亿个参数，能够创建时长达到 204 帧的高清晰度视频，并且兼容 544×992 的画面分辨率。
• 支持双语文字内容搭载了双语文字编码模块，能够接收并处理中文和英文的指令词语，进而理解和创建符合文字说明的视频内容。
• 动感及美感提升利用 3D 全局注意力机制的 DiT 模型结构及流匹配训练技术，创造出兼具显著动态视觉效果与高度审美品质的视频内容。

Step-Video-T2V的核心技术机制

• 基于深度压缩技术的变分自编码器（Video-VAE）Step-Video-T2V 引入了一种深度压缩变分自编码器（Video-VAE），实现了在空间上16倍和时间上8倍的数据压缩。这一技术显著减少了视频生成过程中的计算需求，同时确保了高质量的视频复原效果。
• 双向语言文本编译器该模型集成了两套预先训练好的双向语言文本编码器，能够应对中文及英文的指令信息。Step-Video-T2V 具备解析中英双语输入的能力，并能据此创建出符合文字说明的视频内容。
• 采用扩散机制的Transformer（DiT）结构Step-Video-T2V 运用了扩散模型 Transformer（DiT）框架，并集成了3D全面注意力机制。它借助流匹配训练方法，逐步将输入噪声转化为潜在帧，其中文本嵌入和时间步长作为条件参数使用。此系统在创造高动态运动效果与具备出色美学标准的视频方面展现出了卓越的能力。
• 直接偏好的优化（DPO）为提高所生成视频的品质，Step-Video-T2V 集成了名为 Video-DPO 的直接视频偏好优化技术。此方法利用人类偏好的数据来调整模型参数，旨在减少瑕疵同时提升图像质量，使得最终产出的视频更为流畅且更具真实性。
• 层级培训方法该模型使用了一个级联式的培训流程，涵盖从文本生成图像(T2I)的初步训练、从文本生成视频与图像(T2VI)的扩展预训练阶段、针对文本转视频(T2V)任务进行微调以及实施直接偏好优化(DPO)训练。这种方式不仅加速了模型的学习过程，还最大限度地利用了各类质量水平的视频资料。
• 提升系统性能Step-Video-T2V 对系统架构实施了多项改进措施，涵盖了张量并行处理、序列并行技术和Zero1优化策略，从而显著提升了分布式训练的效能。此外，该系统还集成了高效能通信平台StepRPC与分层监控体系StepTelemetry，旨在加速数据传输流程，并精准定位性能短板。

Step-Video-T2V项目的仓库位置

• GitHub代码库：在GitHub上可以找到由stepfun-ai开发的项目Step-Video-T2V，地址如下所示。
• HuggingFace的模型集合：访问此链接以查看由StepFun-AI开发的stepvideo-t2v模型：https://huggingface.co/stepfun-ai/stepvideo-t2v
• arXiv科技文章在学术预印平台ArXiv上发布了一篇论文，其在线链接为：https://arxiv.org/pdf/2502.10248，该文档包含了最新的研究成果。

Step-Video-T2V的使用情境

• 制作视频素材Step-Video-T2V 可依据文字说明迅速创建创新影片，助力内容制作者节约时间与努力，并简化视频创作流程。
• 宣传视频创作能够创建定制化的视频广告内容以增强品牌的吸引力并优化其推广成效。
• 教育培训Step-Video-T2V 能够创建教学影片，协助学生们更有效地掌握和回忆学习内容。
• 休闲与影剧向影视创作供应创新元素，协助打造特殊效果、动态图像及微电影场景，加快制作进度。
• 社交平台Step-Video-T2V 向用户提供了定制化视频创作服务，旨在增强社交网络的内容多样性并促进更深层次的用户交流。这些由系统生成的视频非常适合在社交媒体上作为创新内容进行分发和共享。