Visual Search Companion – 一款融合视觉语言模型与网络代理搜索技术的开放源代码平台

Vision Search Helper是指什么

视觉搜索助手（VSA）是一个融合了视觉语言模型（VLMs）与网络代理的架构，旨在加强模型对未见过的视觉素材的理解力。通过利用互联网上的信息检索功能，该系统能够更好地解析并回应关于不熟悉的图片的问题。在开放集和封闭集问答测试中，VSA的表现尤为突出，超越了如LLaVA-1.6-34B、Qwen2-VL-72B及InternVL2-76B等其他先进模型。视觉搜索助手可以广泛应用于现有的各类视觉语言模型上，提升它们处理新颖图像和事件的能力。

视觉搜索助手的核心特性

• 视觉信息描述在图片中辨识重要物体并形成叙述，同时考量这些物体间的相互联系的过程被称为关联构建（Associated Construction）。
• 在线信息查询利用名为“链式搜索”的递进算法，创建一系列子问题，并通过网络代理搜集相关资料，以获得与用户提问及图片信息相符的在线资讯。
• 合作创造利用视觉语言模型整合原始图片、用户的疑问、相关的描述以及从互联网上搜集的信息来创建最终的回答。
• 多种形态信息检索平台把任何VLM转换为一个能够解析并回应视觉信息的多功能自动化搜索工具。
• 即时数据浏览借助网络代理提供的即时数据访问功能，使VLM能够获得最前沿的互联网资讯，从而增强其答案的精确度。
• 基于开放世界的搜索强化创作通过利用网络搜索技术，增强VLMs对新颖视觉信息的理解能力，使其具备分析并回应关于未曾接触过的图片或新兴理念问题的功能。

视觉搜索助手的工作机制

• 图像辨识与叙述通过对输入图片运用VLM技术进行解析，辨识图片内的核心元素，并据此创建文字说明。
• 关联性研究创建对单一物件的说明，并探讨各物件间的相互联系。在此基础上形成一个全面反映上述关联性的文字表达形式，也就是相关的阐述。
• 产生子问题根据用户的提问及相关的描述信息，VSA 利用大规模的语言模型（LLM）来创建一组衍生问题。这些衍生问题是用来指导搜索进程的，并帮助定位更加详细的相关内容。
• 在线检索及信息融合通过利用网络代理来进行子问题的探索，并对搜索引擎提供的页面内容进行解析与信息提炼，最终汇总成系统化的在线知识。
• 逐步优化的搜寻流程采用“搜索链”算法，通过迭代步骤逐渐精炼查询，以获取更加详尽和精确的在线信息。

Vision Search Helper的项目位置

• 官方网站项目：VSA.cnzzx.github.io
• Git存储库：访问该项目的GitHub页面，请前往 https://github.com/cnzzx/VSA 进行查看。
• 关于技术的arXiv论文访问该链接以获取最新发布的学术论文：https://arxiv.org/pdf/2410.21220

Vision Search Helper的使用情境

• 图片辨识及检索当用户上传一幅图像时，系统会分析图内的元素，并给出相应的信息说明，比如辨认出其中的历史名人、标志性建筑或动植物的具体类别等细节。
• 对新闻事件的解析与探讨通过对新闻图像的解析，详尽地介绍相关背景、涉及人物的信息以及该事件带来的各方面影响，使读者能够迅速掌握整个新闻故事的核心内容。
• 教学和求知在教育行业中，通过阐释科学原理、历史背景或为语言教学提供视觉支持来协助学生学习。
• 网上购物在电商平台上，通过图片检索功能协助用户发现目标商品，并提供详尽的商品资料及客户反馈。
• 旅行安排当用户上传他们感兴趣的旅行地点的照片时，可以接收到关于该景点的相关描述、游记建议以及历史文化背景等资讯，帮助用户更好地安排他们的旅行计划。