PaliGemma 2 汇集 – 来自谷歌DeepMind的增强型视知觉语言系统

26 0 0

PaliGemma 2 mix指的是什么？

最新发布的多模态视觉语言模型PaliGemma 2 Mix来自谷歌DeepMind团队。这款创新的工具融合了图像理解和文本处理的能力，并能执行包括描述图片内容、识别目标对象、进行图像分割、光学字符识别及文档分析在内的多种任务，实现了在一个单一模型中根据不同需求灵活转换功能的目标。该模型提供了三种不同的参数配置（3B、10B和28B），以适应各种应用场景的需求；同时支持两种分辨率设置——224px与448px，确保了性能优化的同时也考虑到了资源的高效利用。基于如Hugging Face Transformers、Keras及PyTorch等开放源代码框架开发而成，PaliGemma 2 Mix不仅易于使用和扩展，还允许开发者通过简单的命令提示来切换任务类型而无需重新加载模型。

PaliGemma 2 mix的核心特性

图片描绘提供精确而详尽的图片说明，兼容简短及篇幅较长的文字叙述。
文字识别技术（WRT）该技术用于从图像中提取文本信息，非常适合于文件的数字转换、历史文化资料保存及自动化数据采集工作。
物体识别及图片划分能够识别并精确定位图像内的对象，并执行准确的语义划分。
图像问题解答（IQA）用户能够上传图片并且提问，系统将会解析图像后提供答复。
文件解析解析并评估文档中的图像信息，具备对图形与示意图的剖析能力。
对科学疑问的解析具备解析并回应复杂科学研究问题的能力。
与文本相关的作业涵盖文字辨识、表格式样分析及分子架构解析等功能。

PaliGemma 2 混合技术的工作机制

框架设计PaliGemma 2 Mix 包含三大主要组成部分：
- SigLIP 图像转换器采用 SigLIP-So400m 图像编码器，利用对比预训练技术将图片转译成一串token序列。该编码器兼容多种输入尺寸（例如：224px²、448px²和896px²），对应的输出分别是包含256个、1024个以及4096个token的序列。
- Gemma-2B 文本生成模型充当解码角色，专注于处理文字输入并产生相应输出。利用 SentencePiece 词汇分割工具把文本转化为令牌，并将其与图片令牌相融合。
- 直线映射层级通过将 SigLIP 产生的图像标记映射至与 Gemma-2B 文本标记相同的维度空间中，实现了二者的高效整合。
培训方案PaliGemma 2 Mix 的培训过程包含三个步骤：
- 阶段一：初步多元媒体任务培训结合预先训练好的SigLIP与Gemma-2B，并在一个拥有十亿个样例的多元模式任务混合数据集上实施协同训练。此过程旨在增强这些模型跨不同任务的应用效能，且整个训练期间采用的图像分辨率为224像素平方。
- 阶段二：逐渐增强图像清晰度的培训：针对分辨率为448像素平方与896像素平方的情况，我们分别使用了5000万个和1000万个样本进行训练。同时提升了高分辨率任务的优先级，并增加了输出序列的最大长度，以便更好地处理复杂的任务，例如长文本的光学字符识别。
- 阶段三：针对特定任务进行调整优化针对阶段 1 或阶段 2 的里程碑进行调整优化，以满足特定应用需求，例如视觉问答（VQA）、文档解析或是生成详尽的叙述文本等任务。
多种模式的整合PaliGemma 2 Mix 利用结合图像标记和文字标记的方式，并将其送入语言模型实现序列生成。这里的图像标记能够对任务的指引部分（即前缀）进行预见性的处理，调整其表达形式以符合特定的任务需求。

PaliGemma 2 mix 的工程链接

官方网站项目版块本文介绍了Paligemma 2 Mix的全新特性。作为Google开发者系列的一部分，这款工具旨在为开发人员提供更强大的支持和功能升级，帮助他们提升工作效率并创造更多可能。通过引入一系列改进措施和技术革新，Paligemma 2 Mix致力于成为每位工程师和程序员的最佳搭档。
GitHub代码库本文讨论了如何利用Hugging Face的资源对文本进行变换处理，以实现内容的创新性重述。通过采用特定的技术手段，在保持原意的基础上改变表述方式，该过程不仅能够生成与原始文章意思相同但表达不同的新版本文档，还为文本创作提供了极大的灵活性和创造性空间。
链接：https://github.com/huggingface/blog/blob/main/paligemma2mix.md
HuggingFace的模型集合访问此链接以查看由Google整理的Paligemma-2混合模型集合：https://huggingface.co/collections/google/paligemma-2-mix