苹果发布FastVLM视觉语言模型 助力智能眼镜与穿戴设备

近日，苹果公司机器学习团队在GitHub平台开源了一款名为FastVLM的视觉语言模型，该模型提供三种不同规模的版本：0.5B、1.5B和7B。

据官方介绍，FastVLM基于苹果自主研发的MLX框架构建，并借助了LLaVA项目的开源代码库进行训练。这一创新成果特别针对苹果芯片（Apple Silicon）设备在本地端的人工智能计算进行了深度优化。

技术文档显示，在保持高精度的同时，FastVLM实现了对高分辨率图像的近实时处理能力，且其所需的计算资源远低于同类模型。这一特性使其非常适合在移动终端设备上运行。

FastVLM的核心技术在于其独特的视觉编码器——FastViTHD。苹果团队表示，该编码器专为在高分辨率图像上实现高效的视觉语言模型性能而设计。与同类解决方案相比，FastViTHD的处理速度提升了3.2倍，同时体积仅为后者的三分之一。

技术亮点

• 创新性的FastViTHD编码器：在确保性能的同时大幅降低了计算资源需求，使高分辨率图像处理成为可能。

• 高效的模型架构：通过优化设计，显著提升了处理速度和能效比，为移动设备部署提供了理想的解决方案。

• 多任务适应能力：FastVLM支持多种视觉语言任务，展现了强大的通用性和灵活性。

此外，FastVLM在性能方面具有显著优势。与现有技术相比：

• 处理速度提升3.2倍
• 计算资源消耗降低40%
• 模型推理时间缩短至亚秒级

这些突破性的性能改进使其成为移动终端设备上部署视觉语言模型的理想选择。

FastVLM的发布标志着视觉语言模型技术在移动终端应用领域的重大进步。这一成果不仅展示了苹果公司在人工智能基础研究方面的深厚积累，也为开发者和研究人员提供了一个高性能、低资源消耗的开源工具。

该技术有望率先应用于苹果传闻已久的增强现实眼镜和其他可穿戴设备中，为用户提供实时的视觉交互体验。FastVLM的成功也将进一步推动视觉语言模型在移动应用中的普及和发展。

对于开发者而言，FastVLM的开源特性将极大降低视觉语言模型的开发门槛。通过提供不同规模的预训练模型，苹果为开发者在各种应用场景中提供了灵活的选择空间。

• 0.5B版本：适合资源受限环境下的快速部署
• 1.5B版本：平衡性能与计算资源需求的理想选择
• 7B版本：追求极致性能的首选方案

这一系列模型的推出，充分体现了苹果公司在人工智能技术上的全面布局和深厚积累。FastVLM不仅是一项技术创新，更是推动视觉语言模型走向实际应用的重要里程碑。

• 项目地址： https://github.com/apple/ml-fastvlm
• 技术文档： [2412.13303] FastVLM: Efficient Vision Encoding for Vision Language Models