全球感知力测评 —— 小红书携手上海交通大学打造的全新多模态综合评估标准

WorldSense指的是什么？

WorldSense是由小红书与上海交通大学联合开发的一个基准测试工具，旨在评估多模态大型语言模型（MLLMs）在实际场景中对视觉、听觉及文本信息的理解和整合能力。该系统包含了1662个多样化的音视频同步片段，涵盖8大主要领域以及更细致的67个小类目，并配以3172个多选题问答集，触及到26种不同类型的认知挑战。WorldSense特别注重音频与视觉内容之间的紧密关联性，其所有问题设计均需结合这两种模态才能得出正确的解答。此基准测试的数据标注工作由80位专业标注员手工完成，并经过了多轮校验以确保标记的质量和精确度。

WorldSense的核心特性

• 多种模式协同评价重视音像资料间的高度关联性，构建需要结合视音频线索方能精确解答的题目。严谨检验系统面对多种类型信息输入时的认知表现，确认其具备高效融合各类模式数据的能力，并达成精准解读的目标。
• 涵盖多种视频与任务类型WorldSense整合了1662段音画同步且内容多样的视频资料，涉及八大核心领域与六十七项细分类型，并包含了3172组多样化的选择题问答，触及到二十五种以上的认知挑战。
• 高精度标记及校验所有的问答配对都由80位专业标记人员手工完成，并通过多次检验流程，涵盖人力审查及自动化系统校验，以保证标记的质量与可信度。

WorldSense的核心技术机制

• 多种类型数据的综合处理WorldSense规定了对模型需同时解析视频、音频及文本数据的要求。通过保持视频与音频的同步，可以确保模型能够识别出视觉和声音信息间的联系，从而实现对情境更为全面的理解。这种多模态输入的能力是检验一个模型能否像人类一样应对复杂环境的重要指标。
• 任务的规划与标记：通过细致规划的问题与回答配对，保证每一个疑问都需结合多种类型的信息来找到准确解答。此过程中包含多次的人工审查及自动化校验步骤，以维护问题设置的合理性以及标签标记的高度精确性。
• 多元数据整合及逻辑推断通过设计多种任务来考察模型在多个层面处理多媒体信息的能力，涵盖基础感知层面对声音与视觉要素的识别、对各种媒体间关联的理解以及复杂的逻辑推理如因果关系分析及抽象思维运用等方面。采用分层次的评价手段可以更全面地检验模型融合和解析多模态数据的效果。
• 信息的采集和过滤在进行WorldSense的数据采集时，会精选出自海量视频库中那些音画高度契合的片段，并通过专业的人工审查来维护这些素材的内容质量和丰富性，从而保证评估标准能够涵盖多样化的实际应用场景。

WorldSense项目的网址位置

• 官方网站PROJECT访问此链接以查看相关内容：https://jaaackhongggg.github.io/WorldSense/
• Git代码库：在GitHub上可以找到由JaaackHongggg维护的项目“WorldSense”，地址如下所示。
• HuggingFace的模型集合库：在Hugging Face平台上可以找到由用户honglyhly创建的名为”WorldSense”的数据集，链接如下所示。
• 关于技术的arXiv学术文章在学术论文数据库中可以找到编号为2502.04326的文档，该链接指向了相关的PDF文件。

WorldSense的使用场合

• 自动驾控辅助自动驾驶技术更精准地解析交通场景中的视听数据，增强其判断的精确度。
• 智慧教学：通过评估与优化教育工具来提升其对教学视频内容的解析水平，以支持个性化的学习体验。
• 智能化监视系统提高监控系统的视觉与声音信息识别及解析水平，以优化安全监测效能。
• 智能化客户服务平台评价智能化客户服务平台对于用户的言语、情绪符号及文字输入的解析效能，并改进其互动感受。
• 创作内容助力多媒体创作与分析平台更加智能化地解析视频素材，从而提升创意产出及推送的效能。