Vary-toy：一款开放源代码的轻量级视觉多元模态模型

98 0 0

Vary-toy指的是什么

Vary-toy是一款小型化的视觉语言模型（VLModel），由来自旷视科技、中国科学院大学和华中科技大学的研究人员联合开发，旨在应对大型视觉语言模型在训练与部署过程中的难题。对于那些资源受限的科研工作者而言，动辄包含数十亿参数的大规模模型往往无法在其个人消费级GPU设备上运行或实施（例如GTX 1080Ti）。Vary-toy的设计初衷即是在硬件条件有限的情况下，让研究者仍能全面利用当前视觉语言模型的各项功能（如文档OCR识别、图像定位分析、图片描述生成以及基于视觉的问答服务等）。

Vary-toy的核心特性

基于文件的光学字符识别（OCR）技术Vary-toy具备解析并解读文档图片内文本的能力，在应对扫描件、PDF格式等内容时尤为实用。
图片说明该模型可以创建图片的文字说明，这对理解图片的内容以及完成诸如视觉问答(VQA)等生成图片描述的任务非常重要。
关于图像提问的回答（针对图片的问答系统）Vary-toy具备解析图片中所含信息的能力，并能回应相关疑问，这一过程包括对图像视觉元素及伴随文本的理解。
目标识别借助增强的视觉术语，Vary-toy获得了对自然物体进行感知与定位的能力，在图片里能够辨识并确定物品的位置。
将图片转化为文字描述Vary-toy具备将图片中的信息转化为有序的文本布局的功能，比如能把PDF里的图形内容转成Markdown形式。
多种模式的交流对话Vary-toy模型具备处理多种类型信息的能力，在对话中可以理解并回应与图片相关的内容。

Vary-toy的正式访问通道

官方网站地址：https://varytoy.github.io/
学术文章来自ArXiv库：https://arxiv.org/abs/2401.12503
演示程序的访问链接如下：https://vary.xiaomy.net/
Git仓库地址：https://github.com/Ucas-HaoranWei/Vary-toy

Vary-toy的核心技术机制

Vary-toy的运作机制依托于一系列核心技术与设计理念的结合，旨在增强其在视效语义任务中的效能，并维持相对精简的规模。下面是构成Vary-toy运行逻辑的核心要素：

创建视觉词典：Vary-toy采用了一个精简的自回归架构（OPT-125M）来创造新的视觉语汇网路。该网路透过分析PDF图片文字组合及自然图像中的物体识别数据，掌握如何高效地解析视觉信息。相较之下，与传统的Vary模型不同的是，Vary-toy在构建其视觉词汇时，并不将自然图像作为负面样本对待，而是将其纳入正面样本范畴中考虑，这种做法使得网络的潜能得以更全面发挥。
结合视觉术语和CLIP技术生成新视觉术语后，Vary-toy将其与原有的CLIP（对比语言-图像预训练）模型整合。作为一款强大的跨模态模型，CLIP具备将图片和文字映射至同一嵌入空间的能力。这一结合使得Vary-toy不仅能受益于CLIP的图像解析优势，还能通过新视觉术语网络提升其处理文本信息的效果。
多种任务的预先训练：在预训练期间，Vary-toy应用了多任务学习的方法，这使得模型能够同时对包括图像描述、PDF文本识别、目标检测、纯文本交流以及视觉问答在内的多种数据类型进行处理和分析。通过这种多元化的训练方式，模型能够在视觉与语言的表示上获得更丰富的理解，并增强其在各类后续任务中的适应性和性能表现。
架构设计Vary-toy采用了类似于Vary的数据处理流程，不过其结构经过了优化调整。当接收到图片输入时，视觉词汇路径会将图象统一转换至分辨率为1024×1024的标准尺寸；同时，CLIP部分则通过裁剪中心区域来获得一个大小为224×224的图像样本。这两种不同的图像特征输出随后会被整合起来，并送入含有18亿参数的Qwen-1.8B语言模型中进行处理。
资料录入模式为了应对各种各样的任务需求，Vary-toy必须能够适应多种输入格式。例如，在面对PDF图文结合的情况时，该模型采用特定的指令（比如：“请提供此图像的OCR结果。”）以确保输出准确性。而对于物体检测的任务，则利用不同的提示框架来处理图片中的多个目标对象。
精细调整（Fine-Tuning）完成预训练后，Vary-toy在指令调优（SFT）环节中进一步提升其性能。此阶段利用了LLaVA-80K数据集进行训练，该数据集由GPT4创建，包含了详尽的描述和提示信息，并且是基于图像的数据集合。这一步骤有助于增强模型对图像内容的理解及生成相关文本的能力。

借助这些工作原理，Vary-toy实现了模型的小型化，并能有效应对复杂的视觉语言任务。这样的架构让Vary-toy成为在有限资源环境下开展视觉语言领域研究的强大辅助工具。