PicsArt发布的新模型VideoGen – 能创建两分钟内视频的内容生成工具

StreamingT2V代表的是什么？

PicsArt AI研究团队开发了一款名为StreamingT2V的创新模型，专为从文本转换成视频的任务设计。当前大多数同类模型只能有效地产生16帧或24帧长度的短片段，并且在制作较长视频时会遭遇诸如质量退化、场景切换不连贯和停滞等技术难题。通过集成条件注意力模块（CAM）、外观保持单元（APM）及随机融合策略，StreamingT2V显著改善了长视频生成体验，支持高达1200帧的连续播放或两分钟的影片制作。此模型确保了时间序列的一致性和与文本描述的高度吻合性，并通过提升视觉质量和动态丰富度，在延长视频生产领域树立了一项新的里程碑。

访问StreamingT2V的官方网址入口

• 该项目的官方网站地址为：https://streamingt2v.github.io/
• Picsart AI研究院的GitHub仓库中包含了StreamingT2V的相关信息：https://github.com/Picsart-AI-Research/StreamingT2V（请注意，该仓库中的模型与源代码尚未发布）。
• 研究报告链接如下所示：https://arxiv.org/abs/2403.14773，该报告发布在了arXiv平台上。

T2V流媒体服务的特色功能

• 创建长时间视频内容StreamingT2V具备将文本描述转化为较长视频序列的能力，可生成包含80、240、600乃至1200帧以上的影片，显著超越了常规模型仅能创建较短片段的局限。
• 时间的连续性所创建的视频帧实现了流畅的转换与一致性的维护，有效防止了在制作长时间视频过程中常出现的突兀跳转及不连贯问题。
• 高清晰度图片帧此模型强调每帧图片的质量细节，确保即便面对长时间的视频内容时，每个画面依然能够维持高清晰度与精细度。
• 文档排列整齐由StreamingT2V创建的视频严格根据输入的文字说明进行同步调整，以保证影片的内容忠实反映用户提供的文字指示。
• 提升视频质量通过采用随机组合技术，StreamingT2V能够提升生成视频的质量，在避免块间出现不一致的同时，增强了视频的清晰度与观赏体验。

T2V流媒体的运作流程

T2V流媒体的处理过程可大致归结为几个关键步骤：

1. 启动阶段（Startup Phase）由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的内容需要帮助，请提供详细信息。
   • 在此步骤中，会利用预先训练好的文字转视频模型（如Modelscope）生成一段初步的短视频片段，该片段一般包含16帧图像。
2. 在流动转换视频阶段（Flowing Transformation to Video Phase）中由于提供的原文内容为空，没有具体内容可以进行伪原创改写。如果有具体的段落或句子需要帮助，请提供详细信息。
   • 随后，该模型启动了自回归方式下的长时间视频创作流程。在此过程中，StreamingT2V借助条件注意力组件(CAM)与形象一致性单元(APM)，继续构建长视频的画面序列。
   • CAM借助短暂的记忆功能，并运用注意力机制来聚焦上一视频片段的特点，实现了各片段间的顺畅衔接。
   • APM通过运用其长效记忆功能，从起始视频片段中捕捉重要的视觉特性，以保障在整段视频创作流程中的场景与物体一致性。
3. 在流动优化环节（Flow Optimization Phase）中由于提供的内容仅有冒号，并没有实际的文字信息供我进行伪原创的改写，请提供具体的文本内容。这样我可以帮助您完成需求。如果您有其他任何问题或需要进一步的帮助，请随时告诉我！
   • 当创建出较长的视频片段（比如包含80、240、600、1200帧或者更长序列时），系统会进入到精修环节。
   • 在此阶段，采用高清晰度的文本至视频模型（如MS-Vid2Vid-XL）来提升生成视频的质量。
   • 运用随机组合技术，增强了连续24帧的视频片段，并确保各片段间无缝衔接，进而提升了整个视频的质量和清晰度。