上海AI实验室携手多家高校发布长视频解析评估标准——MMBench-Video

MMBench-Video代表的是什么

MMBench-Video是一项创新性的长视频多问题回答评测标准，由浙江大学、上海人工智能实验室、上海交通大学及香港中文大学共同研发。该测试专注于全面评价大型视觉与文本结合模型（LVLMs）在处理视频理解任务上的效能，并通过涵盖多样视频素材和详细能力评估的长片段内容，补充了现有评测手段在时间线认知和复杂作业解决方面的能力缺口。MMBench-Video集合了近600段来自YouTube的视频剪辑，涉及16个分类，单个影片长度介于30秒至6分钟之间，并配备有志愿者精心设计的问题与答案对子。其评测过程借助GPT-4实现自动化处理，确保结果精确度的同时也贴近人类判断标准。这项新推出的MMBench-Video为科研人员提供了一种强有力的手段，用于测评和优化视频语言模型的表现能力。

MMBench-视频的核心特性

• 对视频内容的评价分析MMBench-Video旨在测评大规模视觉语言模型处理和解析长时间视频内容的能力。
• 涵盖多种应用场景该平台提供了覆盖多样主题与场景的视频资料，总计包括了16个核心分类。
• 精细能力测评通过运用26个精细的能力指标，全面评价模型在视频理解方面的性能。
• 高精度的数据集合视频剪辑与问题答案对由志愿者细心编制及标记，以保证资料的高质量。
• 自动评价系统利用GPT-4实现评估自动化，以增强评估的速度与精确度。

MMBench-视频的技术机制

• 长时间的视频材料MMBench-Video汇集了来自YouTube的多段较长视频剪辑，这些较长时间的视频剪辑能够更有效地评估模型在时间序列理解方面的性能。
• 手动标记问题及其对应的答案皆由人类志愿工作者创作并加以标记，以此保证内容的高品质及降低偏见的存在。
• 技能划分框架建立一个包含三个层级的视频解析能力框架，涵盖感知与推理论证两个主要类别，并细分为26项具体的能力指标。
• 时间序列推理难题构建需运用顺序逻辑分析的任务，以测试模型在理解视频材料时间线方面的能力。
• 自动评价系统：通过使用语言模型（例如GPT-4），可以自动分析并比较生成内容与参考答案在意义上的接近程度，以此来评判模型的表现水平。
• 多个模型的对比分析提供对多种大语言模型的评估与对比功能，以明确它们在视频解析任务中的强项与弱项。

MMBench-Video项目的网址

• 官方网站ของโครงการhttps://mmbench-video.github.io/ 的内容呈现了一个不同的表述形式，不过由于提供的链接本身是一个网址，并没有具体文字内容提供，所以无法对其进行伪原创改写。若需对特定网页上的文本进行此类处理，请提供更多详细信息或具体的文本段落。
• Git存储库：访问此链接以获取VLMEvalKit项目 – https://github.com/open-compass/VLMEvalKit
• HuggingFace的模型集合库：访问此链接可查看由Hugging Face托管的opencompass团队创建的MMBench-视频数据集——https://huggingface.co/datasets/opencompass/MMBench-Video
• arXiv科技文章该论文的详情可以在如下链接中找到：https://arxiv.org/pdf/2406.14515，这里提供了研究的完整内容。

MMBench-Video的使用情境

• 模型的评价及对比分析科研人员分析并对比了多种大型语言模型在处理视频内容理解和逻辑推断上的表现差异。
• 模型的改进与培训过程依据MMBench-Video的评价反馈，开发人员调整了模型结构并改进了训练流程，以增强其解析视频材料的能力。
• 学术研讨及论文发布作为一种促进学术沟通的手段，该工具支持科研人员呈现其模型的效果，并在各类学术研讨会上或是专业杂志中发布他们的研究发现。
• 关于多种数据类型融合的学习探索MMBench-Video 拥有大量多样化数据集，致力于推进多模态学习算法的研究与开发，尤其专注于处理结合视频与文本解析的相关任务。
• 智能化的视频解析应用程序在智能视频监视、内容筛选、自动化摘要生成及个性化视频推荐等多个领域，助力开发人员培养并检验更为精确的视像解析模型。