DynaMem – 来自纽约大学与Hello Robot的动态空间认知存储方案

DynaMem指的是什么？

由纽约大学和Hello Robot联合开发的DynaMem是一款面向移动操作设计的开放式世界动态空间语义记忆系统。该系统通过维护一个特征点云作为机器人的记忆力库来应对环境中的变化，比如物体的增加或减少。当接收到新的RGBD图像数据时，DynaMem会更新其内存数据库，加入新出现的对象并移除已消失的部分。它能够依据文本查询定位特定物品，并在需要时引导机器人前往目标位置。实验显示，在处理动态物体方面，DynaMem的成功率达到了70%，显著超越了传统的系统表现。

DynaMem的核心特性

• 动态的空间语义存储构建一个持续更新的动态点云特征库，用作机器人应对环境变化的记忆模块。
• 环境识别及刷新在机器人获取新的RGBD（即红、绿、蓝及深度信息）数据后，DynaMem会将其识别的新物品加入记忆库，并剔除那些已消失的元素。
• 查找并确定文本位置通过文字描述来识别环境中的目标物，寻找与其描述最为接近的位置，并提取该目标最近一次出现时的画面。
• 导引及互动体验当文本能够在场景中准确定位时，引导机器人前往指定对象；若无法在场景中找到文本，则需对环境进行探索以寻觅目标对象。
• 处理运动中的对象DynaMem在应对环境中移动的对象方面表现出色，仅有少量实验由于未能成功定位这些移动对象而告终。
• 价值图谱探寻把机器人的记忆映射至一张价值分布图中，用以引导机器人进行环境探测。

DynaMem的工作机制

• 关键点云管理保留机器人记忆的一种方法是管理一个特征点云，并根据周围环境的变动对其进行实时调整和刷新。
• 整合RGBD观察数据在机器人获取新的RGBD数据后，DynaMem会将其整合进已有的记忆框架内，以此来更新对当前环境状况的认知。
• 搜索内容对应解析利用高级的视觉语言模型(VLMs)与多模式大语境语言模型(mLLMs)来解析并对应文本询问，从而在存储的记忆中找到相应的物品位置。
• 相近度评定通过对比点云数据里的关键点和文字描述来识别目标物的具体位置。
• 环境导引当文本搜索准确识别出环境中存在的对象时，指挥机器人前往该对象所在的位置；若搜索未找到目标，则利用估值地图来指引机器人进行环境探索。

DynaMem项目的仓库位置

• 官方网站URLExceptiontaboola sourceMapping魔法师和GuidIdUrlParser：访问动态链接可在 dynamem.github.io 页面上获得
• arXiv科技文章：在ArXiv的论文库中，有一篇编号为2411.04999的研究文档。

DynaMem的使用情境

• 智能家居系统在家居场景中，辅助服务机器人辨识、确定位置并操作各类家具、家电及其他生活用品。
• 制造业智能化在制造业与物流行业中，辅助型机器人负责执行生产线上的货物分类、运输及组装任务。
• 库存管控在仓储场景中，辅助机器人执行库存管控任务，涵盖物品的位置识别、选取及运输工作，特别是在物资流动较为频繁的情形下。
• 紧急援助在灾害发生时提供必要的支持。于灾害救助情境里，辅助机器人穿越瓦砾地带行进导向，并搜寻生存者或是关键物资。
• 现代农业技术化在农业生产中，辅助型机器人被用于监控作物生长状况、执行收获任务及运输作业。