LOKI —— 中山大学与上海人工智能实验室合作开发的合成数据评估标准

LOKI指的是什么？

中山大学与上海AI实验室共同研发了名为LOKI的合成数据识别标准框架，专注于全面检验大型多模态系统（LMMs）对于多种形态合成内容如视频、图像、三维场景、文本及音频等的辨识能力。此框架收录超过18,000个测试案例，涉及26个细分领域，并运用了深度标注技术以实现精准异常标记。LOKI通过评估模型在感知和推理上的表现来提升其透明度与理解性。借助对22款开源及6款闭源LMMs的评测，该框架展示了这些系统处理合成数据识别任务的能力及其存在的限制。

LOKI的核心作用

• 多元数据检测分析评价LMMs在辨识生成的视频、图片、三维模型、文字及声音资料上的效能。
• 精细化异常标注：添加详尽的异常说明，助力深入解析与全面掌握合成数据。
• 分层标记包含基础的“合成与真实”分类标识，适合用于简单的初始设定情境，并且能够处理更为复杂的问题如异常细节的选择与解析工作。
• 综合评价体系该系统兼容各类数据类型作为输入，涵盖视频、图片、文字、声音及点云等，并且整合了逾25个流行语言模型系统的接口。
• 性能对比分析能够对比多种语言模型（LMMs），涵盖开放源代码及专有型号，并涉及专家合成识别系统。
• 解析能力检验为了检验LMMs在识别合成数据任务中是否具备良好的可解释性，我们请求模型给出基于自然语言的说明。
• 多样化的数据汇集了各类合成信息素材，涵盖特定行业的资料，例如航天影像与医疗图片，并包含了自然声音及乐曲在内的声学材料。
• 题目难易程度分类依据人类评价标准对题目难易程度进行划分，检验LMMs在各等级难度下的性能表现。
• 模型偏倚评估通过对模型偏差指标的计算，评估其在处理合成数据检测时的表现偏移与偏好特性。

• 推动人工智能的进步与发展促进开发更为强大且更具透明度的合成数据识别技术，以回应由AI合成技术引发的各种挑战。

LOKI的运作机制

• 资料的采集和整合LOKI聚合了大量的多模态信息，涵盖了视频片段、图片、三维模型、文字内容及声音素材。其中一部分资料来源于公开的数据库集合，另一部分则是借助先进的合成技术新近创造出来的。
• 多种模式评价体系LOKI开发了一个综合性的多模态评价体系，能够处理各种类型的数据输入，并且整合了几种流行LMMs的接口标准，以此在一致的基础上比较各模型的表现水平。
• 模型的评价及对比分析LOKI测评涵盖了多种开放源代码与专有Licence下的语言模型评价。通过对这些模型在处理合成数据识别任务中的表现进行对比，我们可以洞察其效能及存在的限制。
• 以人类可理解的方式说明LOKI请求模型生成自然语言说明以提升其透明度和理解度。通过检验模型的能力，并审查它为自己的决策给出的原因来评价它的表现。

LOKI项目的仓库位置

• 官方网站建设项目访问LOKI项目，请前往网址：https://opendatalab.github.io/LOKI
• GitHub代码库：在GitHub上的开源项目地址为opendatalab/LOKI
• arXiv科技文章在学术预印平台arXiv上发布了一篇研究论文，其在线地址为：https://arxiv.org/pdf/2410.09732。该链接指向了这份未经同行评审的最新科研成果的具体内容。

LOKI的使用场合

• 对人工智能系统的安全评价LOKI旨在评测与增强AI系统处理合成数据时的安全防护能力和稳定性，以保证这些系统能够有效辨识并恰当应对可能遭遇的合成数据威胁。
• 内容审查在社交网络、资讯站点以及各类信息平台上，LOKI能够识别并筛除通过人工智能制造的虚假消息及深度伪造视频与音频内容，确保用户的获取的信息真实可信，避免受到错误引导。
• 验证数据集在进行机器学习模型训练时，LOKI能够评估验证数据集的真实性和质量水平，防止训练集中含有大量人工生成的数据点，并增强模型对未见数据的适应性。
• 法规与遵从性要求在法律范畴内，LOKI能够辅助辨识及应对涉及合成数据的著作权、隐私保护与合规挑战，比如侦测并阻止未授权内容的产生与传播。
• 传媒与文娱在影视作品、电子游戏及虚拟现实项目的创作过程中，LOKI能够被用来评价并优化合成媒介内容的品质，保证产出的作品既逼真又能贴合创作者的设计理念。