谷歌发布全新多模态实时互动AI接口——具备低延时特性的多功能Live API

什么是多模态实时API？

谷歌新推出的低延迟双向交互式人工智能接口——Multimodal Live API，能够处理文本、音频及视频多种形式的数据输入，并以音频和文字的形式回应用户。它助力开发者创建具备即时音视频流功能的软件应用。通过该API，与AI的对话体验更趋自然流畅，允许使用者随时打断AI讲话，如同人与人之间的交流一般自如。此接口还具有解读视频内容的功能，支持摄像头拍摄或屏幕共享作为互动输入方式。Multimodal Live API主要设计用于服务器间的通信需求，在需要实时多模态交互的应用中发挥出色表现。

多模态实时API的核心特性

• 多种形态互动通过整合文字、声音与影像的多重输入形式，来创造更加丰富多彩的互动感受。
• 即时低延时交互体验提供迅速反应，使交流更为顺畅自如。
• 对话回忆在一个对话过程中保留先前的交流信息，能够记住之前讨论的内容。
• 函数调用及程序运行提供与外界服务及数据资源的整合能力，确保能够调用功能并执行代码。
• 暂停与继续用户可以随时停止AI的生成过程，并能在合适的时候重新启动。
• 各种声音表示赞同：配备多样化的默认声音选择，以满足各种使用情境的需求。

多模态实时API的工作机制

• 多种类型的数据管理与分析能够应对来自多种类型（如文本、音频和视频）的信息输入，并拥有强大的数据管理和分析功能。
• 即时双工交流通过采用WebSocket协议来达成服务器和客户端间的即时双工通讯。
• 语言的自动化处理技术（NLP）依托于先进的自然语言处理技术，包括但不限于语言建模、意义解析及会话控制等功能。
• 语音的辨识与生成技术该API结合了语音转文字及文字转语音的技术，以实现对音频的输入与输出进行管理。

Multimodal实时API的项目位置

• 官方网站访问链接：api.multimodal-live.ai.google.dev
• Git存储库：访问此链接以查看谷歌 Gemini 的多模态实时 API 项目 – https://github.com/google-gemini/multimodal-live-api

多模态实时API的使用情境

• 客户支援和服务：供应全天候每周七天的虚拟客户服务，通过语音及视频技术与用户互动并解决他们的问题。
• 网络学习担任虚拟教育者的角色，开展即时交互式授课活动，涵盖语言培训及编程指导等领域。
• 远端医疗服务咨询医疗专业人士可以通过视频通话的方式来进行远距离的病情诊断与健康咨询服务。
• 在线会议及团队合作提升视频通话的使用感受，借助即时的语音辨识与翻译功能，加快国际间的交流速度。
• 休闲与玩乐在游戏中实现与虚拟人物的互动，或者在虚拟现实(VR)和增强现实中创造更加直观自然的操作感受。