Meta 公布的开源视觉分割工具 SAM 2.1

SAM 2.1指的是什么？

Segment Anything Model 2.1（简称SAM 2.1）是由Meta公司（Facebook母公司）开发的一款先进的视觉分割工具，适用于图像与视频处理领域。该模型采用简化的Transformer结构及流式内存设计，实现了对实时视频的有效分析。相较于其前身，SAM 2.1通过引入数据增强技术提升了识别相似物体和小尺寸目标的能力，并且改进了在对象被遮挡情况下的表现力。同时，Meta公司还开放了SAM 2的开发者工具包，该套件包含了训练代码以及前后端网络展示所需的所有资源，以促进用户更便捷地使用及定制化调整此模型。

SAM 2.1的核心特性

• 图片与影像的分离处理实现图像与视频的视觉分段，以辨识并独立提取其中的各种物体及成分。
• 即时视频处理利用流式内存技术和Transformer模型结构，实现对视频流的即时处理。
• 用户参与式划分根据用户的点击或选取操作，以互动的方式对图片和视频内的物体进行划分。
• 多个目标追踪能够对视频中的多目标进行追踪，并分别为各个目标创建分割蒙版。
• 数据扩增采用数据增强方法，以提升模型在辨识视觉上相近的物品及小型物件方面的性能。
• 掩盖处理优化位置编码与训练方法，提升模型在应对物体被遮挡时的表现。

SAM 2.1的核心技术机制

• 基于Transformer的模型结构SAM 2.1采用了Transformer框架，这是一种利用高效注意力机制来处理诸如图像和视频帧等序列数据的模型。
• 连续回忆为了有效管理视频资料，采用了流动记忆技术，使得系统能够记住先前的画面，在分析当前画面时参考过往信息，从而更准确地把握情景的变化趋势。
• 数据扩充方法通过运用数据增强技术来模仿视觉上类似及小型物品，显著增强了系统对于那些较难辨识物品的检测性能。
• 地点编码优化空间及对象导向记忆的定位编码能够使模型更精准地掌握物件间的相对位置及其相互作用。

SAM 2.1 的项目链接

• 官方网站项目这篇博客文章来自Meta的人工智能网站，介绍了几个新的项目和更新。其中包括FairNews, 一个致力于提高新闻公正性的工具；Segment Anything Model (SAM)，旨在提升图像分割技术的模型；以及Spirit LM、Layer Skip等与人工智能语言模型相关的创新成果。此外还提到了Salsa和SonA这两个新概念或产品，但具体的细节需要访问原链接来获取更多信息。
• Git代码库：访问位于 https://github.com/facebookresearch/sam2 的项目页面。

SAM 2.1的使用情境

• 文章制作及修改在视频编辑中运用动态背景更换技术，使得视频创作更为灵活且效率更高。
• 提升现实生活体验的增强技术（AR）与构建全沉浸式数字世界的虚拟技术（VR）在AR应用程序里，通过精准地辨识并互动对象来增强用户的体验感受。
• 医学图像解析通过辅助诊断功能，自动辨识医学影像里的异常部位，从而增强诊断的精确度。
• 自动驾驶与机器人科技增强自动驾驶系统对周围环境的识别能力，以保障行车的安全性。
• 安全保障监测通过在公众场所实施人群计数与不寻常行为监控，增强安全性。