阿里与华东师范大学联合研发的AI视频延展优化技术——ExVideo

105 0 0

ExVideo指的是什么？

ExVideo是一项由阿里巴巴及华东师范大学的研究团队开发的后调优技术，专门用于改进现有的视频合成模型的时间范围限制，使其能够创建更长、包含更多帧的视频内容。研究小组以Stable Video Diffusion模型为基础进行训练，并成功构建了一个可以生成长达128帧连贯影像的新扩展版本，在保留原生生成能力的同时进行了提升。这项技术通过优化3D卷积模块以及时间注意力和位置嵌入机制，使得该模型能更好地处理跨越更长时间段的内容。ExVideo不仅保持了原始模型的生产能力，还显著提高了视频长度，并且其训练过程所需的成本较低，非常适合那些计算资源有限的环境使用。

ExVideo的特性与功能

扩大时间范围ExVideo的一项关键特性在于它能延长视频合成模型的时间范围，使得该软件可以处理并创建超出初始设计长度的视频片段。借助这一功能增强，ExVideo有能力制作包含更多帧数的影片内容，因此能够叙述更为详尽的故事或呈现持续时间更长的动作场景。
后期优化方案ExVideo的核心技术之一是其后优化策略，通过重新训练如Stable Video Diffusion等模型的关键组件，该方法能让这些模型产生更长时长的视频内容，最多可达128帧及以上。这一过程不仅延长了视频长度，还确保了模型在处理不同输入时的泛化性能，从而生成多样化且适应性较强的视频输出。
参数精简有效相较于传统培训方式，ExVideo实施了后续微调方案，在已有的模型上直接优化改进而非重新构建整个模型，这大幅降低了对参数量及计算力的需求，并且提升了模型扩展的实际效率与可行性。
维持创造潜力当增加视频时长时，ExVideo致力于维持其优质效果。由此产生的影片不仅延长了播放时间，在画面流畅性、分辨率及总体品质方面同样达到了高水准的要求。
相容性与广泛适用性ExVideo在设计时注重了对各种视频融合算法的支持能力，从而能够在多样化的视频创作场景中得以应用。它针对诸如三维卷积、时序注意力机制及空间嵌入等技术提供了灵活的拓展方案，能够匹配多种类型的模型结构需求。

访问ExVideo官方网站入口

该项目的官方网站地址为：https://ecnu-cilab.github.io/ExVideoProjectPage/
DiffSynth-Studio项目地址：https://github.com/modelscope/DiffSynth-Studio
从Hugging Face平台获取模型：https://huggingface.co/ECNU-CILab/ExVideo-SVD-128f-v1
在ModelScope上可获取该模型的下载链接：https://www.modelscope.cn/models/ECNU-CILab/ExVideo-SVD-128f-v1/summary
在arXiv平台上发布的一篇技术论文可在此链接找到：https://arxiv.org/abs/2406.14130

ExVideo的工作机制

调整后续优化（Optimization Post-Adjustment）ExVideo运用了基于参数微调的技术来优化当前的视频融合算法。该方法涉及只针对模型的部分组件进行额外训练，而非全面重训整个架构，以此达到提升效能的目的。
时间组件拓展在处理视频合成模型的时间组件时，ExVideo引入了多项增强措施。具体而言，改进涵盖了3D卷积结构、时间注意模块及位置编码层面的调整，旨在更好地支持延长版的视频片段。
三维卷积层在视频合成过程中，3D卷积层被用来识别时间轴上的特性。ExVideo维持了原模型内的3D卷积层不变，这是因为这些层具备处理多种时间比例的能力，并且不需要进一步调整即可工作。
时序关注机制为增强模型在长时序数据处理上的效能，ExVideo调整了其时间注意力组件。这一举措有利于提升模型对视频内容时间连续性的把握能力。
地点编码传统上的视频组合模型可能会采用固定的或者可以学习的位置编码来标识视频中各帧的时间次序。而ExVideo则采取了不同的策略，它使用能够被训练的位置编码，并且利用周期性的初始设定去更好地支持处理较长时长的视频数据流。
具有恒等特性的三维卷积层（Identity 3D Convolution Layer）于位置嵌入模块后方，ExVideo增设了一个体积三维卷积单元来捕捉长时间序列的视觉特性。此新增层初始设定为单位阵形式，在前期学习阶段不干扰原有的视频数据表征，并维持了同基础架构的兼容性。
工程项目改进为实现高效利用有限计算资源的目标，ExVideo实施了一系列工程技术改进措施，包括参数锁定、采用混合精度进行训练、应用梯度回溯技术及Flash Attention算法，并借助DeepSpeed框架对优化器的状态与梯度数据进行分割处理。
培训流程ExVideo通过利用开放访问的数据集OpenSoraPlan2来进行训练，这一数据集中有大量的视频资源，旨在提升模型创作多样化的视频内容的技能。
误差度量与噪音管理策略在培训期间，ExVideo维持了与基础模型相同的损失函数及噪声管理方案，这保障了其训练过程既高效又稳定。