长寿命VITA —— 腾讯优图携手南京大学及厦门大学开放的多媒体模型

Long-VITA指的是什么

Long-VITA 是由腾讯优图实验室联合南京大学和厦门大学共同开发的一款开放源代码的多模态模型，它能够处理包含超过一百万个tokens的超长文本，并在短文本任务上表现出色。该模型采用了分阶段训练策略，逐步增强其对视觉与语言上下文的理解能力，支持图像、视频及文本等多种类型的数据输入。Long-VITA 利用动态分块编码器来解析高分辨率图片，并通过基于上下文的并行分布式推理技术实现对无限长度数据的支持。它使用了包括漫画摘要和电影剧情在内的多种长文本开源数据集进行训练，在多个多模态基准测试中取得了领先性能的新高度。

Long-VITA的核心特性

• 处理大量文本的能力能够应对超出100万个标记的输入量，适用于长时间文本、延长版视频以及高清图像等多种形态的任务需求。
• 多种形态的理解能力该工具能够处理图片、影像及文字数据的输入，适合用于视频解析、高清图像研究以及大量文本创作等工作。
• 拓展上下文的能力通过分步训练方法，逐渐增加模型处理的文本长度范围，并确保其在简短文本作业中依然表现出色。
• 利用公开数据进行模型训练利用公开的数据集完成模型训练，摆脱对自有数据的依赖，从而减少开发难度。
• 灵活性与延展能力具备上下文并行分布式的推理解能力，可应对任意长度的输入数据，并适合于大型项目的实施。

Long-VITA的核心技术机制

• 逐步培训由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您能提供具体段落或句子，我很乐意帮您完成这项任务。
  • 视效与语言的同步搭配锁定语言模型与图像编码器的参数不变，只对投影器进行学习，以初步构建视觉信息与文本描述之间的关联。
  • 广泛的知识掌握通过结合图片与文字的数据来进行多重任务的学习，以增强模型对广泛知识的理解能力。
  • 对较长序列进行精细调整逐渐增加处理的上下文范围（由128千字节至1兆字节），融入长时间文字及影像解析的数据集，提升模型在应对较长信息时的表现质量。
• 分布式的上下文平行推理利用张量并行与上下文并行的技术手段，实现了对任意长度输入的推断支持，并有效克服了在处理长篇幅文本时遇到的内存限制问题。
• 动态区块编码器采用动态分区技术高效管理高清图片，并兼容多种尺寸比例的输入。
• 遮罩语句模型前端于推断过程中，通过依赖掩码的logits输出大幅减少内存消耗，并且能够处理大规模及较长篇幅的文字创作。

Long-VITA项目的所在位置

• Git代码库：在GitHub上可以找到一个名为Long-VITA的项目，其链接如下所示——https://github.com/VITA-MLLM/Long-VITA
• HuggingFace的模型集合访问此链接以探索VITA-MLLM模型：https://huggingface.co/VITA-MLLM
• 关于技术的arXiv论文这篇论文可以在网址 https://arxiv.org/pdf/2502.05177v1 上找到。

Long-VITA的使用情境

• 制作视频材料实现视频的自动摘要生成、字幕创建或是对视频内容的相关疑问进行解答。
• 图片解析：支持艺术创造、医疗影像解析及卫星图片评估。
• 处理大量文本信息创作故事书、研究报告或是文件概要。
• 智能化交流在客户服务、教育培训及智能家庭领域内，利用文本、图像以及视频等形式与用户进行互动交流。
• 即时会议支持：实现即时翻译、添加字幕及自动生成会议纪要。