阿里国际发布的新一代多模态大型语言系列模型 —— Ovis2

Ovis2指的是什么

Ovis2 是由阿里巴巴国际团队开发的一款创新性多模态大型语言模型，它通过结构化嵌入对齐技术来解决视觉与文本模式之间的差异问题。作为 Ovis 系列的延续和发展，Ovis2 进一步提升了小规模模型的信息密度，并且通过指令微调和偏好学习大幅增强了其在思维链（CoT）推理方面的能力。此外，Ovis2 新增了对视频及多图像处理的支持，同时加强了跨语言支持能力和复杂场景下的 OCR 技术。该系列包括参数量分别为1B、2B、4B、8B、16B和34B的六个不同版本，在OpenCompass多模态评测中展现了优异的表现，并在数学推理与视频理解领域尤为出色。Ovis2 的开放源代码为多模态大型模型的研究及应用开辟了新的途径和技术工具。

Ovis2的核心特性

• 多元模式的解析与创造能够应对包括文本、图片及视频在内的多种类型的输入模式，并产生高品质的文字内容，适用于复杂的视听说任务情境中。
• 提升逻辑推断技能通过增强思维链（CoT）推理技术，我们能够更有效地解答复杂逻辑与数学难题，并给出详尽的分步解析过程。
• 多媒体与多种图像编辑具备了视频解析功能，能够实现关键帧挑选及接纳多种图片输入，并有效管理跨越各帧的复杂视觉数据。
• 多种语言的兼容性和文字识别功能能够处理多语言文本，并从复杂的视觉组件（例如表格和图形）中抽取结构化的信息。
• 小型模型改进通过采用改进的训练方法，让小型模型具备强大的性能表现，以适应各种使用场景的要求。

Ovis2的工作机制

• 结构化的嵌入对准通过运用视觉得分器技术把图片分解为若干小图块，并从中抽取特性信息再转换成相应的“图像词汇”。这些图像词汇和文字标签共同作为输入数据供给大规模语言模型处理，以达到不同形式间的信息一致性和组织排列效果。
• 四个步骤的培训方案由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您能提供一段具体文本，我很乐意帮您完成这项任务。
  • 初期阶段：固定语言模型参数，对视觉组件进行训练，并掌握从视觉特性转换至嵌入表示的方法。
  • 第二个阶段继续优化视觉组件的训练，提升其在处理高清晰度图片方面的理解力及多种语言的文字识别技术。
  • 第三个阶段通过采用以对话为框架的图像资料，让视觉元素与大型语言模型中的交流模式相匹配。
  • 第四个阶段通过开展多元化的命令训练与个性化偏好的学习，增强模型响应用户指示的精确度及改善其生成内容的质量。
• 提升视频解析能力通过运用MDP3算法（该算法考量了帧与文字的关联度、多样性组合及顺序排列），挑选出核心帧以增强对视频内容的理解。
• 采用Transformer框架构建通过整合先进的视觉编码组件（例如ViT）与文字处理算法（比如Qwen），达到高效的数据多元融合及内容创造目标。

Ovis2的工程链接

• Git代码库：在GitHub上可以找到AIDC-AI团队的Ovis项目页面。
• HuggingFace的模型集合：访问此链接以查看由AIDC-AI整理的集合页面 – https://huggingface.co/collections/AIDC-AI/ovis2

Ovis2的使用情境

• 学者与技术人员专注于人工智能和多模态技术探索的专家以及致力于构建智能化应用程序的开发者们，在开展模型精进、算法升级或多模态应用场景创造的过程中。
• 创作人生产的内容从事新闻报道、广告设计及市场营销等相关行业的专业人士能够迅速创建图像和视频的相关说明文字、宣传语以及标题等内容，从而提高创意工作的产出速度。
• 教师与学员教师创作描述性的文本搭配图像和视频，以辅助学生掌握难度较高的知识点；而学生们可以利用视像提问的功能来解答他们在学习过程中遇到的问题。
• 商务客户在金融、法律和医疗等行业的专业人士需要处理复杂的数据文件、图片及视频内容，并从中抽取重要信息以支持其做出决策。
• 一般使用者和科技发烧友对于有兴趣了解人工智能的群体而言，可以通过执行一些基础的多模态作业来深化理解，比如创建图像说明或是开展基于视觉的问题回答活动，以此探究这项技术如何融入并服务于我们的日常生活中。