通义发布的Gummy – 实时流式输出的端到端语音翻译先进模型

Gummy指的是什么？

在2024年的云栖大会上，通义实验室发布了一款名为Gummy的端到端语音翻译大模型。该模型能够即时流式处理语音识别和翻译任务，并支持超过十种不同的语言输入，包括中文、英语、粤语、日语、韩语、法语、德语、俄语以及意大利语和西班牙语等，可以将这些源语言的内容准确地转换为目标语言。通过采用端到端的技术手段，Gummy大幅降低了翻译过程中的延迟时间，并且在多项测试中展现了顶尖的性能表现（SOTA）。此模型还具备多语言混合翻译、术语定制调整及领域特定提示等功能，适用于诸如国际会议等场景，在这些场合下无需事先指定输入语种即可实现各种外语向目标语言的流畅转换。

Gummy的核心特性

• 多种语言兼容性支持Gummy支持超过十种语言的语音输入，如中文、英文、粤語、日文、韓文、法文、德文、俄文和意大利文及西班牙文，并能够即时将其翻译为目标语言。
• 全程翻译不同于传统级联系统的是，Gummy采取了端到端的架构设计，能够直接实现语音向目标语言的转换，整个过程省去了对中间文本环节的依赖。
• 即时翻译Gummy实现了低于0.5秒的翻译延迟，其速度甚至超过了人类专业同声传译员。
• 优质翻译在众多被行业广泛认可的公开测试数据集中，Gummy展现出了顶尖级别的翻译效果，达到了当前最优水平。
• 实时翻译Gummy具备即时翻译功能，能够实现实时听取并翻译说话内容，非常适合用于即时沟通的情况。

Gummy的工作机制

• 全程一体化设计Gummy模型利用端到端的设计方案，实现了从源头语言的声音数据直接转换为目标语言的文字结果的过程，这不仅精简了研发步骤，还显著增强了系统的整体效能。
• 深层次的人工智能神经系统利用深度学习方法，特别是深层神经网络结构，来掌握从语音到文字的复杂转换过程。
• 即时流动处理提供即时的语音辨识与翻译功能，能够做到同步听取并转换语言。
• 等待与预测机制该模型内嵌特定算法，能够智能识别最佳翻译时刻，从而提升翻译效果并减少等待时间。

Gummy项目的仓库位置

• 官方网站 проекта

  注：这里由于原文内容非常简短，“项目官网”仅有两个词，并且已经是常用的专业术语，在不改变其含义的情况下可选的变换形式有限。上述翻译尝试提供了另一种语言（俄语）下的表达，但若需保持中文表述，则“该项目的官方网页”或“官方网站”可能是仅有的几种改写方式之一。访问tongyi.aliyun.com，您现在可以下载并体验通义APP中的语音翻译大模型Gummy的部分新功能。

Gummy的使用情境

• 即时口语转换翻译Gummy模型具备在会议中即时翻译讲话的能力，能够为国际大会和涉及多种语言的洽谈等活动提供同步口译支持。
• 教育培训于教育行业中，Gummy助力语言学习者通过即时翻译多种教学材料来克服语言壁垒，为师生间的交流提供了便利。
• 旅行与导览向游客供应即时口语翻译服务，助力其与操持多种语言的地方居民沟通，并能在引导过程中给出各种语言的支持。
• 客户支持服务于客户服务行业之中，Gummy担任着多元语系客服辅助的角色，致力于供应迅速且精准的言语协助服务，进而增强客户的满足感与体验。
• 健康咨询服务在医疗卫生行业，Gummy推出了多种语言的医疗服务翻译项目，旨在促进医患间的有效交流。