小红书推出FireRedTTS-2流式文本转语音系统

FireRedTTS-2是什么

FireRedTTS-2是一款先进的长格式流式文本转语音（TTS）系统，专注于实现多说话人对话生成。该系统采用了创新的12.5Hz流式语音分词技术和双Transformer架构，能够在保证低延迟的同时提供高保真的语音合成效果。目前支持包括英语、中文、日语、韩语、法语、德语和俄语在内的多种语言，并具备零样本跨语言转换及语音克隆能力。

FireRedTTS-2现可实现4个说话人之间的3分钟对话生成，通过扩展训练数据集，还可以进一步提升对话时长并增加支持的说话人数量。在播客内容自动生成和智能聊天机器人集成领域，该系统展现了卓越的应用潜力，能够根据上下文语境生成自然流畅、富有情感色彩的语音输出。

FireRedTTS-2的主要功能

作为一款高性能的语音合成解决方案，FireRedTTS-2在以下几个方面展现了其核心优势：

• 长对话语音生成：支持4个说话人的3分钟对话生成，通过扩展训练语料库可进一步提升对话时长和增加支持的说话人数量。
• 多语言支持：除了英语、中文、日语、韩语外，还支持法语、德语和俄语等多种语言，并具备跨语言语音克隆能力，显著拓展了应用场景。
• 低延迟高保真：采用先进的12.5Hz流式语音分词技术，确保在保持声音质量的同时实现快速响应和流畅播放。
• 情感化语音输出：能够根据输入文本的情感色彩生成相应的情绪化的语音表达，使对话更加自然、富有层次感。