马迪尼 – 由Meta与KAUST共同研发的视频创造扩散模型

MarDini指的是什么？

MarDini是一款创新性的视频扩散模型，结合了掩码自回归（MAR）与扩散模型（DM）的优点，在大规模视频创作领域有着广泛应用。该模型能够应对任意数量和位置上的遮罩帧，并适用于包括视频插值、图像转视频生成以及扩展现有视频内容在内的多种任务需求。通过将主要计算资源集中在低分辨率规划模块上，MarDini实现了空间-时间注意力机制的大规模应用，显著提升了其在视频创作中的效率与适应性。值得注意的是，MarDini具备从无标签数据中自主训练的能力，并不需要依赖图像生成方面的预训练过程，这为其带来了出色的可扩展性和运行效率。

MarDini的核心特性

• 视频帧插补在两幅指定的图像间创建过渡帧，使视频播放更加平滑。
• 从图片转换为视频生成以单一图像为起点，创造连贯的视频序列。
• 影片放大在当前的视频材料上增加额外的画面帧数，以延长视频的整体时长。
• 创建减速播放的影片利用自回归推理技术，在原有训练范围之外生成附加帧，以制作具有慢动作视觉效果的视频。
• 基于零样本的三维视角合成技术即使未经过3D数据的训练，同样能够创建出具备三维一致性的全新视图图像。

MarDini的核心技术机制

• 掩码自回归方法(MAR)和扩散模型(DM)的融合MarDini运用MAR来解决时间序列中的长程依赖问题，而DM则侧重于生成精细的空间特征。
• 非对称性网络布局在较低的解析度设置中运作时，MAR配备了更丰富的参数集；相比之下，在较高解析度环境中操作的DM则采用了较精简的参数配置。这样的设计使得模型能够在初期通过较低解析度的任务来承担更为复杂的计算工作，并逐步过渡到高分辨率阶段以优化细节表现。
• 全程训练流程利用掩码帧扩散损失函数，MarDini能够实现从未标记的视频资料中的端到端学习。
• 适应性的遮罩方案MarDini通过调整掩码帧的位置与数量来满足多样化的任务要求，从而在各类视频生成工作中展现出高度的灵活性。
• 逐步训练方法该模型逐渐改变掩码的比例并提升训练任务的复杂度，实现从视频插帧的平稳演进至全程视频创作的过程。

MarDini项目的网址位置

• 官方网站项目版块https://github.com/mardini-vidgen 页面
• 关于技术的arXiv学术文章本文档讨论了最新发布的研究论文摘要与内容概要，该论文可通过访问此链接获取进一步的详细信息和深入分析：https://arxiv.org/pdf/2410.20280v1。请注意，上述提供的URL直接指向了一篇学术文章的PDF文件，读者可以通过点击或复制粘贴该链接来查阅原始文献以获得第一手资料。

MarDini的使用场合

• 休闲活动及社交网络平台MarDini适用于创建用于社交平台分享的短视频，包括自动制作的舞蹈片段、特殊效果影片或由用户设计的小故事影片。
• 影视作品创作与发展在影片的后制过程中，MarDini被用于创造或加强特效画面，也适用于制作电影预告片里的特定镜头。
• 视频游戏创作在制作游戏时，用于创建游戏中变动的背景画面或用作角色动作设计的基础工具。
• 虚拟实境（VR）及扩增实境（AR）MarDini应用于创建用于VR或AR应用程序的动态环境和场景，以增强用户的沉浸体验。
• 宣传与推广MarDini应用于制作引人注目的广告视频，通过利用动态内容来捕捉潜在客户的眼球。