9月9日,B站(Bilibili)昨日正式宣布开源其自主研发的语音生成大模型IndexTTS-2.0。这款创新性的零样本文本转语音(TTS)系统在自回归架构中首次实现了对时长控制的精确管理。
据其GitHub页面显示,相较于传统的逐token生成方式,IndexTTS-2.0在自回归架构中首次实现了精准时长控制功能。这一突破性设计特别适用于视频配音等需要严格音画同步的应用场景。
IndexTTS2提供了两种核心生成模式:
-
第一种是通过明确指定生成的token数量来实现精准时长控制。
-
第二种则是采用自由生成模式,保留输入提示中的韵律特征。
在声音表达方面,IndexTTS2实现了情感特征与说话人音色的解耦:即分离说话人的音色和情绪特征,并分别进行独立控制。
得益于此种设计,用户可以单独指定音色来源和情绪来源。例如,可以用一段音频保留音色,再用另一段不同情感的音频或文本描述赋予情绪,在零样本条件下,模型能够精确还原目标音色并完全重现指定情绪。
为了提升高情感表达下的语音清晰度,团队采用了GPT潜在表示,并设计了三阶段训练策略以增强生成的稳定性。同时,他们基于Qwen3进行了微调,引入“软指令”机制,使用户能够通过自然语言描述直观控制情绪方向,从而降低了使用门槛。
在技术性能方面,多数据集实验表明,IndexTTS2在词错率、说话人相似度和情绪保真度等关键指标上均超越了当前最先进的零样本TTS模型。其方法展现出良好的扩展性,可应用于其他大型自回归TTS系统中。团队表示将公开代码和预训练权重,以推动学术研究与产业落地。
-
技术报告地址:https://arxiv.org/abs/2506.21619
-
仓库地址:https://github.com/index-tts/index-tts
-
Demo展示地址:https://index-tts.github.io/index-tts2.github.io