北大研发的多模态大语言模型框架 – 虚假图像检测工具FakeShield

什么是FakeShield？

北京大学的研究团队开发了名为FakeShield的多模态大型语言模型框架，该框架具备识别与精确定位图像伪造的能力。此系统能够评估图片的真实度，并生成篡改区域的掩码图层，给出基于像素级和整图层面线索的判定依据。通过增强现有数据集并运用GPT-4o技术，FakeShield构建了多模态篡改描述数据库（MMTDSet），专门用于训练其伪造分析技能。该框架整合两个核心组件：由领域标签指导的解释性伪造检测模块（DTE-FDM）和多模态伪造定位模块（MFLM），它们分别承担识别与精确定位的任务。在处理各种篡改技术如Photoshop操作、DeepFake生成以及AIGC编辑时，FakeShield展现了卓越性能，并提供了一种优于传统手段且具备解释能力的解决方案。

FakeGuard的核心作用

• 对图片真实性的评价：评估图片是否有被修改的痕迹。
• 修改地区设置在生成的图片里标识出修改过的部分的遮罩。
• 修改痕迹解析：给出以像素级别和整图级别的篡改迹象为评判标准的依据。
• 多种类型的数据管理通过融合视觉与语言模型，增强识别精度并提升结果的解释能力。

虚假防护的技术机制

• 多元模式架构规划：FakeShield利用融合了视觉与文本数据的多模态大规模语言模型（M-LLM），增强了其识别及精确定位的能力。
• 数据扩充技术通过融合GPT-4o技术升级当前的IFDL数据集，构建了名为MMTDSet的新数据集，从而提供了更为多样化的训练案例。
• 主题标识指引使用领域标识（Domain Identifier）来划分各类篡改信息的区别，以此提升系统辨识各种篡改形式的效能。
• 解析能力组件研发DTE-FDM组件，利用解析图片特性并创建详尽的文字说明来作为检验的基础。
• 模拟位置组件通过运用MFLM组件，并融合视觉与语言特性，实现对篡改部分的精准识别定位。

FakeShield项目的仓库位置

• Git存储库：访问该项目的GitHub地址为 https://github.com/zhipeixu/FakeShield
• 关于arXiv的技术文章在学术预印本网站上有一篇论文，其详细信息可在此链接中找到：https://arxiv.org/pdf/2410.02761。请注意，该链接直接指向了PDF格式的文档内容。

应用场景示例：FakeShield的使用情境

• 社交平台上的信息审查于社交网络中自动识别并筛除被修改过的图像，以遏制虚假信息与误导内容的扩散。
• 司法证据收集在收集法庭证据的过程中，需要验证图像证据是否有被修改的痕迹，以确保其真实和有效。
• 资讯平台协助媒体组织确认新闻图像与影片的真实无误，保障消息发布的真实可靠及权威性。
• 知识产权防护向版权持有者供应手段，以识别并追踪未授权使用的图片及改动痕迹，从而捍卫其知识财产权益。
• 安全保障监测在安防监测行业中，保障监视影像的真实无误至关重要，以防范利用修改过的图片实施欺骗或其他违法活动的风险。