Salesforce发布的开源多模态AI模型xGen-MM

xGen-MM代表的是什么？

xGen-MM是由Salesforce开发的一款开放源代码多模态人工智能系统，它具备处理混合类型数据的能力，并且能够同时解析与生成包括文本及图像在内的多种信息形式。借助于对大量图文资料的学习，该模型在视觉语言相关的任务上表现优异。此外，通过提供开源的模型、相关数据集以及微调工具库的方式，xGen-MM促进了其功能和性能上的持续优化提升。

xGen-MM的核心特性

• 多种形态的理解能力xGen-MM具备同步解析与领会图像及文字资料的能力，并能够针对视觉元素的相关问题提供解答。
• 大数据学习分析经过广泛而多样的数据培训，xGen-MM能够识别出复杂的视觉与语义特征。
• 高效能创造:xGen-MM不仅能够解析输入的数据，还具备创作文字的能力，例如它可以基于一幅图像撰写说明或是回应问题。
• 开放源代码可供使用xGen-MM的模型、数据集及代码已开放源码，科研人员与开发人士均可自由获取并利用这些资源来创建他们自己的应用程序。
• 细致调整的能力用户能够依据自身的具体要求调整xGen-MM，以满足各种应用情境的需要。

xGen-MM项目的网址

• Git存储库在GitHub上的这个链接展示了Salesforce公司维护的一个名为LAVIS的项目分支，具体路径为xgen-mm。
• Hugging Face的模型集合：访问链接以获取Salesforce开发的xGen多模态模型迷你指令版本交织修订1.5版的信息 – https://huggingface.co/Salesforce/xgen-mm-phi3-mini-instruct-interleave-r-v1.5
• arXiv科技文章在学术论文数据库中可以找到编号为2408.08872的文件，具体链接如下：https://arxiv.org/pdf/2408.08872。

xGen-MM的核心技术机制

• 多种模式的学习方法:xGen-MM经过训练可以同步解析图像与文本资料，达成视觉元素与言语内容的结合。
• 大型数据集合该模型通过一个庞大且多样化的大数据集合进行了训练，此集合内含大量图片及其对应的说明。
• 视像标记选取器:xGen-MM采用了高效的视觉标记采样技术，例如借鉴了Perceiver框架的设计理念，用以解析图像信息，并且能够让模型灵活地适应和处理各种尺寸的图片内容。
• 预先训练的文本处理模型通过整合预先经过大规模文本资料训练的语言模型（例如Phi-3），该模型展现出了卓越的语言解析和处理技能。
• 一致的培训目的：该方法通过专注于在多种模式的背景中预测文本标记，并利用单一的自回归损失函数进行模型训练，从而达到简化培训流程的目的。
• 命令精细调整通过指令微调，模型能够更精准地解析并完成用户提出的请求，这涉及在原有基础上针对具体任务进一步优化模型性能。
• 培训后期的性能提升包含对直接喜好优化(DPO)及安全微调的实施，以增强模型的有效性、降低错误信息的影响并提升整体安全性。
• 开放源代码与高度灵活性xGen-MM的代码、模型及数据集均已开放源码，社区用户可以根据自身需要对其进行个性化调整与持续研发。

xGen-MM的使用情境

• 图片说明创作能够自动生成图片的文字说明，适合用于社交平台和照片整理等领域。
• 关于图像的提问与解答：针对图片中的元素给出解答，在教育行业或是电商行业中传递商品详情。
• 文件解析对文档内图文的分析与解读，适合于自动化的文件管理和数据搜索。
• 创作内容协助用户于创作阶段，例如自动构建故事情节框架、构思设计图像等内容。
• 数据查询利用图片与文字相结合的方式，增强搜索结果的精确度和相关性。