浙大与清华共同开发的开放源代码AI音效真实性检验系统——SafeEar

SafeEar指的是什么？

由浙江大学和清华大学共同研发的AI音频真实性验证系统名为SafeEar，在确保用户隐私的前提下识别虚假音频内容。该框架利用一种基于神经网络的解码器模型分离出声音中的声学与语义成分，并运用其声学特征进行伪造检测，以此有效避免了个人隐私信息泄露的风险。实验表明，SafeEar在多个标准数据集上的等错误率低至2.02%，展现了卓越的表现并能抵御内容恢复攻击。此外，SafeEar支持多种语言环境，并建立了一个包含150万条多语种音频的CVoiceFake数据库，为语音伪造检测领域的研究工作提供了宝贵的数据资源。

SafeEar的核心特性

• 保护个人隐私的高级伪造识别技术利用对语音中的语义与声音特征进行区分的方法，SafeEar采用声音特性单独识别高级合成音伪冒内容，并在此过程中确保语音消息的内容隐私不被泄露。
• 支持多种语言SafeEar具备处理及识别多国语言音讯资料的能力，涵盖的语言有英语、中文、德语、法语以及意大利语等。
• 高精度的假冒识别测试结果显示，在若干个公开的标准数据集上，SafeEar展现了卓越的检测效能，其等错误率（EER）仅为2.02%。
• 防止数据复原的技术SafeEar通过集成实景优化的编解码技术和抵御内容还原手段，在遭受恶意攻击时仍能维持高水平的识别精度。
• 提升现实场景体验SafeEar提升了模型在各种通讯情境下的适应性，通过仿真现实环境中多样的声音传输路径来实现这一目标。
• 公开资源SafeEar实现了对论文、代码及数据集的公开获取，助力于科研社群深化探索与加速应用程序创新。
• 建立数据集合SafeEar开发了名为CVoiceFake的数据集，该数据集包含了150万个多种语言的音频示例，旨在作为评估语音篡改识别技术的标准测试参照。

SafeEar的核心技术机制

• 语音中的语义与音效信息分离SafeEar采用神经音频编码与解码技术将声音文件内的含义数据（例如说话的内容）与其听觉特征（比如发音特色、声调及韵律）区分开来。这一分离过程能够在识别虚假音轨时避免暴露实际对话内容，从而维护用户的隐私安全。
• 音频数据解析该程序专注于解析音频的声学属性而非其含义。借助于对音高、声音特质及节拍等元素的关注，SafeEar能够精准地检测到合成的声音文件。
• 多种语言兼容性支持SafeEar具备处理多语言音频资料的能力，并运用了去除语义的技术手段，在分析期间保证不会泄露具体的内容含义。
• 防止数据复原技术SafeEar通过集成针对实际情境优化的编码解码器改进与防止内容还原的技术，有效抵抗多种音频深度造假手段，在遭受敌对攻击时仍能维持高水平的识别精度。
• 基于Transformer的分类模型SafeEar利用了以声音输入为基础的Transformer分类技术，在识别造假上展现了显著的效果，大大提升了检测的准确性和速度。

SafeEar项目的网址

• 项目主页面访问此项目，请前往：https://safeearweb.github.io/project/
• GitHub代码库：在GitHub上可以找到LetterLiGo开发的SafeEar项目，网址是https://github.com/LetterLiGo/SafeEar。
• 科技研究报告您可以访问以下链接以查看相关文档：https://safeearweb.github.io/Project/files/SafeEar_CCS2024.pdf

SafeEar的使用情境

• 社交平台与公众讨论区在这些平台中，通过制造虚假的音频内容来误导或欺诈的行为可能存在，而SafeEar能够识别并标注出这类伪造的内容。
• 法律法规与司法体系在法律流程里，确保音频证据的真实无误极为关键。SafeEar能够辅助确认录制内容的有效性。
• 金融企业于客户支持及交易认证环节，语音识别技术或面临合成声音带来的安全隐患。SafeEar旨在增强此类操作的安全级别。
• 政府部门与安保单位在保障国家与公众的安全方面，甄别假冒的音频内容极为关键。SafeEar能够有效辨识可能存在的风险及不实资讯。
• 网络教学在在线教学与测评环节里，SafeEar能够保障音视频资源的真实无误，并遏制学术不端行为的发生。