阿里通义开源R1-Omni：多模态+RLVR融合模型

近日，随着DeepSeek R1的发布，强化学习在大模型领域展现出巨大潜力。Reinforcement Learning with Verifiable Reward（RLVR）方法为多模态任务提供了全新的优化思路，在几何推理、视觉计数以及经典图像分类和物体检测等任务中，均显著超越传统的监督微调（SFT）方法。

不过，当前研究主要集中在Image-Text类多模态任务上，尚未深入探索更复杂的全模态场景。基于此，通义实验室团队将RLVR与视频全模态模型相结合，今日宣布开源R1-Omni模型。

R1-Omni的一大显著特点是其推理透明性。通过RLVR方法，音频和视频信息在模型中的作用更加清晰明确。

例如，在情绪识别任务中，R1-Omni能够清楚展示哪些模态信息对特定情绪的判断起到了关键作用。

为验证R1-Omni的性能，通义实验室团队将其与多个基准模型进行了对比测试。这些对比包括：

• 原始基线模型：HumanOmni-0.5B。

• 传统方法：监督微调（SFT）技术。

• 其他模型：行业标准测试集中的对比模型。

实验结果显示，R1-Omni在多个测试维度上均展现出色性能：

• 准确率: 平均成绩较基线提升了35%以上。
• 运行效率: 模型推理速度优于大多数对比模型。
• 跨模态理解: 在多任务联合学习中表现突出。

目前，R1-Omni模型已在多个实际应用场景中取得显著效果。通义实验室已正式开源该模型及相关技术：

• 项目文档: GitHub仓库

• 模型下载: ModelScope平台

• 技术博客: 官方技术博客

R1-Omni的成功标志着强化学习在多模态领域的重要突破，为后续研究提供了新的方向和参考。通义实验室表示将持续优化该模型，并探索其在更多实际场景中的应用。