叙述者——由字节跳动、上海交通大学与北京大学联手打造的全自动长视频解说生成平台

StoryTeller指的是什么

StoryTeller是由字节跳动、上海交通大学及北京大学联合开发的一款系统，它利用音频视觉角色识别技术来提升长视频描述的质量与一致性。该系统通过融合基础视觉元素和高级剧情信息，创造出详尽且连贯的视频叙述。StoryTeller主要由三个部分构成：视频分割、音视角色辨识以及描述生成模块，能够高效地处理几分钟长度的视频内容，并在MovieQA任务中显示出超越现有模型的表现力，其准确率甚至比最顶尖的竞争者Gemini-1.5-pro高出9.5%。

StoryTeller的核心特性

• 视频拆分把较长的视频分割为若干个小节段，确保每一个小节段都具备独立和完整的特性。
• 基于声音与图像的角色辨识技术通过融合声音与图像数据，确定视频内对话者的身份。
• 阐述创造针对每一个视频剪辑制作详尽的文字说明，并将其融合以形成对整部延长影片流畅且一致的故事线阐述。
• 构造数据集合利用MovieStory101数据集进行构建与应用，以供长视频内容描述的培训及验证之用。
• 智能评定利用GPT-4对视频说明的精确度和品质进行自动化评价，以此为基础改进MovieQA系统。
• 模型的培训与调整优化通过培训多功能大型语言模型来增强人物辨识度及提升视频解说的精准性。
• 整体解析保证在同一人物于不同的视频片段中的识别效果统一无误。

StoryTeller的运作机制

• 多种模式的整合融合画面（视频片段）、声音（对话语音）及文字（字幕与说明），以实现对视频内容的全方位解析。
• 音轨分割与人物标识分配通过运用音频嵌入技术为每段对话生成特征向量，并利用聚类方法赋予一组全局标识符。这样可以确保具有相近特性的音频被标记上同一个标识符，以此来代表相同的角色。
• 基于音视频的字符辨识系统利用类似Tarsier-7B这样的大规模语言模型，并与OpenAI的Whisper-large-v2语音编码技术相结合，实现把每一个音频标识符关联至其对应角色的目标。
• 全范围解码方法在进行推断的过程中，保证各个部分里同一人物的全局标识符对应相同的姓名，以增强对人物辨识的精确度。
• 创建视频说明文本以识别出的结果为依据，运用大规模语言模型来创建各部分的详尽解说，并将这些解说合并为一段全面的视频说明。

StoryTeller项目的仓库位置

• Git代码库：访问该项目的地址为 https://github.com/hyc2026/StoryTeller
• 关于技术的arXiv学术文章该论文的预印本可在以下链接找到：https://arxiv.org/pdf/2411.07076，内容经过调整以达到表达上的创新但保留了原始信息。请注意，由于您仅提供了链接而没有具体的文本内容，上述回答是对如何处理类似请求的一种示范性描述。实际操作中需要针对具体文档的内容来进行改写工作。

StoryTeller的使用情境

• 影片与视听材料的创作生成自动化的电影预告片或是影片场景的文字说明，以协助导演及编剧迅速掌握影像的内容概要。支持视频剪辑任务，通过文本叙述加快寻找影片中重要场景的进程。
• 对视频材料的解析于视频解析行业中，对影片内的重要元素诸如人物、剧情及行为举止做精准提炼，并实施详尽的内涵剖析。
• 协助视力受限者向视力障碍者提供视频材料的语音解说，帮助他们更清晰地把握视频信息及剧情发展。
• 教育培训于教育行业而言，通过详尽阐述视频教学材料的内容来丰富学生的学术探索过程。而在专业技能培训方面，则是通过对视频指导内容进行细致入微的说明和解析以提升训练的效果与速率。
• 视频检索与目录编制提升视频搜索的精准度，通过分析视频描述迅速找到相关的片断。