中科大与科大讯飞合作发布开放音乐创作模型 QA-MDT

QA-MDT代表的是什么？

由安徽中国科学技术大学与科大讯飞共同研发的开源音乐生成模型名为QA-MDT（Quality-aware Masked Diffusion Transformer）。该模型能够依据文本描述创造出高品质且富有乐感的音乐作品，并采用了一种创新的质量感知训练方法，在训练期间识别并增强音频波形质量。通过整合掩蔽扩散变换器技术与高质量控制手段，QA-MDT在处理大型数据集时表现出色，为音乐创作及多媒体内容制作提供了强有力的支持工具。

QA-MDT的核心特性

• 从文本转换成音乐的创作过程用户提交文字说明，QA-MDT则据此创作相应的音乐作品。
• 品质管理：该模型旨在提高生成音乐的品质，并保证其具备高品质的声音还原效果。
• 改善数据集质量通过对数据集实施预处理及优化措施，增强音乐与文字之间的匹配精度。
• 多样性的创造该模型能够创作出多种风格的音乐，以适应各类用户的喜好。

QA-MDT的核心技术机制

• 从文本转化为音乐的创作过程利用自然语言处理(NLP)技术对文本进行分析，并将其转化为音乐特性，最终创作出音乐作品。
• 品质意识培养于培训环节中，通过应用品质评价体系（例如假定的MOS得分机制）来衡量音频片段的优劣程度，并促使系统产出高水准的乐曲作品。
• 遮盖扩散转换器(MDT)利用Transformer框架，通过遮盖并预测部分音乐信号的方式学习其内在表征，从而增强音乐创作的精确度。
• 质量管理在创作过程中，利用训练期间获取的品质数据来指导模型产出优质音乐。
• 音符与文字的和谐搭配通过运用大规模的语言模型(LLMs)以及CLAP模型来实现音乐信号与文字说明的协同工作，以此提升音频内容和相关文本解释之间的契合度。

QA-MDT项目的仓库位置

• Git存储库：访问该仓库的链接为 https://github.com/QA-MDT
• arXiv科技文章本文的研究成果可以在如下链接中找到：https://arxiv.org/pdf/2405.15863v2，该论文详细阐述了相关研究的深度和广度。

QA-MDT的使用情境

• 宣传与多媒介创作创作专用于广告、影视作品、电子游戏及网络视频的个性化背景音乐与声音效果。
• 音娱行业支持音乐创作者与作曲者开发新颖的音乐项目，激发创新思维或充当其创制流程里的实用工具。
• 音乐教学用作教育辅助材料，以协助学生们掌握音乐理论与创作技能，或是供人们进行乐器训练及即兴表演之用。
• 声音材料制作为播客、有声读物及其他音频节目打造专属原创音乐，以丰富和提升听众的听力享受。
• 智能化助理与智慧装置于智能家居装置、虚拟助理或其它智能化系统内创造定制化的声音与音乐体验，以增强用户的感受。