MOVA与创智学院携手模思智能联合开源端到端音视频模型

MOVA是什么

MOVA（全称：MOSS Video and Audio）是由上海创智学院OpenMOSS团队与模思智能(MOSI)联合开发的中国首个高性能开源端到端音视频生成模型。该模型突破了传统视频“静音”的限制，通过创新性的异构双塔架构和双向桥接模块设计，实现了原生的跨模态交互能力。作为一款具有320亿参数量（采用MoE架构，推理时激活180亿）的先进模型，MOVA能够同时生成最长8秒、720p分辨率的音视频内容，并在电影级口型同步和环境音效匹配方面达到了行业领先水平。

MOVA的主要功能

• 端到端音视频生成： MOVA采用一体化生成技术，能够同时输出高质量的视频和音频内容，彻底告别传统“哑巴视频”。这种创新的生成方式不仅提升了内容的表现力，还为用户带来了更自然流畅的使用体验。

MOVA的核心优势在于其强大的跨模态交互能力。通过先进的异构双塔架构和双向桥接模块设计，模型实现了视觉与听觉信息的深度融合。这种设计使得生成的内容在口型同步、环境音效等方面达到了电影级水准，显著提升了用户的沉浸感。

此外，MOVA采用了高效的MoE（混合专家）架构，在保证生成效果的同时大幅降低了计算资源的需求。这一特点使其在实际应用中更具灵活性和可扩展性，能够支持更多场景的落地。

总之，MOVA不仅仅是一个音视频生成工具，更代表了中国在人工智能领域的一项重要技术突破。它的推出不仅填补了国内相关领域的空白，也为全球AI技术的发展贡献了新的思路和方向。