ParGo —— 字节跳动携手中山大学打造的多功能大模型集成工具

ParGo指的是什么？

ParGo是由字节团队携手中山大学共同研发的一款创新性多模态大语言模型接口。该系统专注于优化视觉和文本信息在多模态大型语言模型（MLLMs）中的协同效果。通过整合局部标记与全局标记，并采用细致规划的注意力掩码机制来分别捕捉局部及整体特征，ParGo能够在限制标记数量的同时强化区域间联系的表现力，深入融合图像细节及其宏观构图的理解，有效解决了传统技术中忽略细节的局限性问题。

ParGo的核心特性

• 有效桥接视觉和语言模式ParGo利用结合整体与部分视角的方法，借助Partial-Global Perception Block（PGP）及Cascaded Partial Perception Block（CPP）两个核心组件，将视觉特征转换为局部标记和全局标记，分别捕捉图像的部分细节与全面信息。这一过程有效链接了视觉特性与大型语言模型(LLM)，解决了传统技术对显著区域过度依赖的局限性。
• 增强多功能大型语言模型的性能在多个MLLM评估标准中表现出色，例如，在MME测试框架下相比传统Q-Former模型提高了259.96%。特别是在需要细致感知的任务里，ParGo明显超越了其他同类模型，它能更加精准地完成文字辨识、更详尽地描绘图像细节，并且更为高效地识别局部要素。
• 通过自我监督的学习来提升对语境的把握能力于训练过程中采用自监督学习方法，借助预测被遮盖区域的信息以提升模型理解语境的能力，进而增强了其泛化效果，并降低了对大量标记数据的需求。

ParGo的工作机制

• 结合整体与细节视点：ParGo利用两类可训练的token，在注意力机制下，既关注细节又把握大局，将视觉信息转化为适用于大规模语言模型（LLM）的数据形式。
• 部分全局感知模块(PGP)在ParGo里，视觉编码器生成的特性会被转换成两类不同的令牌：部分令牌与全局令牌，这使得系统可以分别捕捉图像的细节部分和整体特征。
  • 部分令牌每一个令牌只与一部分视觉特性互动，注重图像的区域细节。
  • Worldwide symbols全域token通过与全部视觉特性互动，来捕获图像的整体信息。
• 级联部分感知块(CPPB)在Partial-Global Perception模块前，ParGo加入了名为Cascaded Partial Perception (CPP)的组件。该组件通过一种特别设计了遮罩层的自注意力机制作为核心，随着层级加深，每个部分令牌能够接触到越来越多的邻近令牌，从而逐步增大其感知范围。
• 自我监督学习方法在训练过程中，ParGo采用了自我监督的学习方法，具体是通过对被遮盖部分内容的预测来提升模型理解上下文的能力。

ParGo项目的网址

• GitHub代码库：访问ByteDance的ParGo项目，请前往此链接 https://github.com/bytedance/ParGo
• arXiv科技文章在该链接中可以访问到一篇研究论文的PDF版本，其网址为：https://arxiv.org/pdf/2408.12928。这篇文档包含了作者对于特定主题深入探讨的内容。

ParGo的使用场合

• 视像提问解答系统ParGo具备识别图片内视觉提示的能力，并能够解读文字的深层含义，在处理涉及视图与问题关联的任务时展现出了卓越性能。
• 图片描述创作ParGo尤其擅长处理如COCO Caption这类的任务，能够创建出高品质的图片说明文本。它不仅能够概述整幅图的主要内容，还具备识别并描绘画面中细微之处的能力，从而提供更精确且详尽的描述。
• 多模式搜索ParGo适用于跨模态搜索任务，能够协助用户利用文字搜寻对应的图片，或是借助图片查找相匹配的文字段落。
• 情绪评估ParGo具备解析图片与文字情绪的能力，从而在进行情绪分析时能够给出更为精准的反馈。 在处理图像识别的任务上，ParGo同样表现出色，它能辅助系统深入剖析图内细节，并掌握整体画面的信息。