苹果、复旦联合推出StreamBridge：端侧视频大语言模型框架

StreamBridge：实时视频流AI解析的新突破

StreamBridge是由苹果公司与复旦大学联合开发的一款创新性端侧视频大语言模型框架，专为实现实时视频流的智能理解而设计。该框架通过内存缓冲区和轮次衰减压缩策略实现了对长上下文的有效管理，并采用了轻量级激活模型来实现主动响应功能。研究团队还特别推出了包含60万个样本的Stream-IT数据集，显著提升了模型在流式视频内容理解和实时交互方面的能力。

StreamBridge的核心功能解析

作为一款专注于实时视频流理解的AI框架，StreamBridge具备以下独特优势：

• 多轮上下文交互：支持长序列的持续对话，在处理当前视频片段时自动保留历史视觉信息和对话记录。
• 智能主动响应：无需显式指令，模型能够实时监控视频内容并主动输出反馈，极大提升人机互动的自然度。
• 灵活适配能力：可无缝集成到现有视频大语言模型架构中，且对基础模型的改动幅度极小。
• 强大的数据支持：基于Stream-IT大规模流式视频理解数据集进行优化，该数据集包含60万个高质量样本，并涵盖多种指令格式和应用场景。

StreamBridge的技术创新点

StreamBridge的核心技术架构包括以下几大模块：

• 记忆缓冲区机制：通过存储和检索视频帧的嵌入信息，实现多轮交互支持。每新增一个视频帧都会被独立编码并追加到缓冲区中，确保历史视觉信息的有效保留。
• 轮次衰减压缩策略：当输入序列超过设定长度限制时，系统会自动合并早期对话轮次的视觉标记，通过平均池化操作优先保留最新内容，从而实现高效的内存管理。
• 轻量级激活模型：独立于主视频大语言模型运行的轻量级多模态模型，负责判断是否需要触发响应。该模型采用二分类机制，并引入可学习的<ACT>标记进行监督训练，确保准确捕捉用户意图。
• Stream-IT数据集：基于大规模视频字幕库筛选生成，包含60万个高质量样本，涵盖密集视频字幕、顺序步骤识别和基于视频的问题回答等多种任务类型。

如何使用StreamBridge？

想要深入了解StreamBridge的技术细节，可以参考其官方发布的论文：

• 技术文档链接：https://arxiv.org/pdf/2505.05467

StreamBridge的应用前景

凭借在实时视频理解领域的突破性进展，StreamBridge已在多个领域展现出广泛的应用潜力：

• 智能监控系统：实现实时视频内容的主动识别与分析。
• 视频通话增强：提供更自然流畅的交互体验。
• 流媒体平台优化：提升用户观看体验和内容推荐准确性。
• 自动驾驶辅助：实时解析复杂交通场景信息。