VoiceSynth 1.5 —— Fish Audio 新推出的语音生成工具，涵盖13种语言选项

Fish Speech 1.5指的是什么？

Fish Audio公司最新发布的Fish Speech 1.5是一款文本转语音（TTS）技术产品，它采用了包括Transformer、VITS、VQVAE及GPT在内的深度学习方法。这款软件能够处理英语、日语、韩语以及中文等多达十三种语言，并且具备了无需大量样本即可生成高质量语音的特性，仅需提供10至30秒的声音片段便能完成逼真的语音模仿工作，其语音克隆延迟低于150毫秒。Fish Speech 1.5模型拥有强大的泛化能力，不需要依赖音素信息就能处理各种语言脚本的内容。此外，即将推出的实时无缝对话功能将允许用户在任何时间、地点进行互动式的聊天体验。该软件的预训练模型已开放源代码，并支持跨平台本地部署，在Linux、Windows和macOS系统上均可运行。

Fish Speech 1.5的核心特性

• 多种语言兼容性支持该服务兼容涵盖英语、日语、韩语及中文等在内的十三种不同的语言，具备管理多语言文字的能力。
• 无样本与少量样本的语音生成技术利用短暂的音频片段（从10至30秒之间），来模拟并创造出高品质的语音合成效果。
• 不依赖音素不同于传统的语音合成技术，Fish Speech 1.5无需依靠音素工作，并展现出更优秀的泛化性能。
• 极高精度在处理一篇时长为5分钟的英语文章时，其出错比率可降至2%以下。
• 迅速合成为一体在高端硬件的支持下，可以达成迅速的实时语音生成。

Fish Speech 1.5的工作机制

• 基于Transformer的结构这是一种利用自我关注机制构建的模型架构，擅长于管理和分析序列化的信息，并在自然语言相关的作业中得到了广泛的采用。
• 基于矢量量化Transformer的语音合成(VQTS)这是一种采用Transformer架构的语音生成系统，利用量化方法来提升其生成速度与音质。
• 矢量量化变分自编码器(VQ-VAE)这是一种采用量化技术来学习数据紧凑表示的变分自编码器。
• 基于生成式预训练变换器的模型（Model based on Generative Pre-trained Transformer）这是一种经过大规模文本资料训练的语言预处理模型，能够产出流畅且自然的文字内容。

Fish Speech 1.5 的项目位置

• 官方网站：audio.fish
• Git代码库：在GitHub上的fishaudio组织里有一个项目叫做fish-speech。

Fish Speech 1.5的使用情境

• 听书与音版图书把电子书和文档转化为音频图书，让听众享受更加方便的听书乐趣。
• 支持性科技面向视觉障碍者提供的文字转语音功能，旨在协助使用者“读取”显示屏中的信息。
• 掌握言语技能通过模仿多种语言的声音，辅助学习者提升他们的听觉理解和口语表达能力。
• 客户支持服务于呼叫中心及聊天机器人场景下应用，实现自动化语音应答功能。
• 新闻与报道生成自动化的新闻播报音频，适用于电台播放或是网络新闻平台。