西工大携手微软及香港大学开发的说唱音乐创作模型 – Freestyler

Freestyler指的是即兴创作的人。

由西北工业大学计算机科学学院的声音、语音与语言处理团队（ASLP@NPU）、微软以及香港中文大学深圳研究院的大数据分析实验室联合研发的Freestyler是一款能够根据歌词和背景音乐自动生成饶舌曲目的模型。该系统首先利用语言模型生成语义标签，随后通过条件流匹配技术创建声谱图，并最终借助神经网络编码器转化为音频输出。此外，Freestyler还提供了RapBank数据集以支持训练过程及模型的开发工作，并具备零样本音色控制功能，使用户能够创造出具有独特音色特征的饶舌演唱效果。

Freestyler的核心特性

• 节奏旋律创作该服务能够根据提供的歌词与背景音乐自动生成说唱歌声，用户无须拥有任何音乐专业知识。
• 无示例音色调控借助一段3秒钟的参照音频，Freestyler能够匹配任意发言人的声音特质，并达到无需示例的声音操控效果。
• 构建数据集合为了应对说唱音乐数据不足的问题，该团队开发了RapBank数据库，并详细介绍了其数据处理的方法。
• 风格与韵律的统一产生的饶舌音频在风格和节拍方面与背景音乐紧密匹配，涵盖了样式和节拍的一致性。
• 高清晰度声音播放利用前沿的声码器科技，创造流畅而高音质的说唱歌曲。

自由风格者的技术机制

• 从歌曲词句至意义解析（From Song Lyrics to Meaning Analysis）由于提供的原文为空，没有具体内容可以进行伪原创改写。如果您有具体的段落或句子需要处理，请提供详细信息。这样我才能帮助您完成需求。
  • 利用类似LLaMA的语言模型来预估由歌词及乐器特性决定的离散语义标签。
  • 利用如Wav2Vec XLS-R之类的自监督学习(SSL)模型来抽取特性，并通过K-均值聚类方法获得语义标签。
• 从语义生成声谱图(Semantic-to-Spectrogram)由于提供的内容为空，没有具体文字供我进行伪原创改写。如果您能提供具体的文本或段落，我很乐意帮您完成这项任务。请给出需要修改的文字内容吧！
  • 利用条件流匹配（CFM）方法，可以将离散的语义标签转化为连贯的mel频率图形。
  • 参考音频已被整合进CFM模型中，以补足语义标签里缺乏的声音特质信息。
• 从频谱图生成音频（Generate Audio from Spectrogram）请提供需要改写的具体内容，以便我能够帮助您完成需求。
  • 利用预先训练好的声码器（例如BigVGAN-V2）来从频谱图重构声音信号。
  • 声码器具备处理各类音频信息的能力，涵盖各种语言的讲话声、歌声以及背景音效。
• 数据集合处理步骤由于提供的内容为空，没有具体文本可供改写。如果您能提供一段具体的文字，我很乐意帮您完成这项任务。
  • RapBank 数据库汇集了来自网络的大批说唱歌词，并通过自动化抓取信息、源头隔离分析、内容拆分、歌詞辨识及品质筛选等一系列工序进行加工整理。
  • 数据集的处理涵盖音乐源的分离、通过语音活动检测（VAD）进行分段、利用自动语音识别（ASR）技术辨识歌词，以及评估相关的质量标准。
• 无实例操控参照编码器从样本音频里抽取整体发音人特征，用于调控生成语音的音质。

Freestyler项目的仓库位置

• Git代码库：访问该开源项目库可前往 https://github.com/NZqian/RapBank 页面。
• arXiv科技文章访问该论文的PDF版本，请点击此处：https://arxiv.org/pdf/2408.15474

Freestyler的使用情境

• 音乐制作为音乐创作者与编曲者激发创意，迅速创造说唱歌词及 vocals，助力打造新颖的音乐佳作。
• 实时演出于音乐会及DJ演出期间，即时创造与背景旋律相呼应的饶舌歌曲，旨在为到场听众营造生动多变的听觉享受。
• 游戏声音效果在视频游戏中加入角色的饶舌声音效果，可以提升游戏的真实体验与交互乐趣。
• 教育培训于音乐教学领域内，指导学生们掌握说唱技艺及音乐创编，并通过制作示例音频来增强他们的学习成效。
• 社交平台上的内容制作创意作者制作独创的说唱歌声，以增强他们在社交网络中的视听材料，并吸引更多的关注者。