中科院与美团合作开发的互动驾驶模拟数据集 —— DrivingDojo

DrivingDojo指的是什么？

DrivingDojo是由中国科学院自动化研究所与美团无人车团队联合发布的一个数据集，旨在用于训练和研究复杂的自动驾驶交互环境下的模拟模型。该数据集汇集了18,000个视频片段，涵盖了全面的驾驶操作、多智能体互动以及广泛的开放道路驾驶信息，为构建未来的自动驾驶系统奠定了坚实的基础。DrivingDojo还设定了动作指令跟随（AIF）标准，用于衡量世界模型在预测未来行动控制方面的性能。

DrivingDojo的核心特性

• 互动式全球模型学习DrivingDojo构建了一个用于培训和仿真复杂驾驶情景的互动世界模型平台。
• 行动指南遵从（AGF）：通过界定AIF标准，该数据集旨在考察世界模型依据行动指南产生未来预期的效能。
• 多样的驾车操控方式通过利用DrivingDojo-Action的子集数据，该模型掌握了包括加快速度、减缓速度、执行紧急刹车以及进行变道在内的多种驾驶技巧。
• 多个智能实体的互动交流借助DrivingDojo-Interplay的子集，该模型能够解析并预见车辆与其它交通参与者间的复杂互动。
• 广泛的知识领域通过运用DrivingDojo-Open的子集合，该模型能够学会应对开放环境中少见的情况及多样化的边缘案例。
• 视频制作及预估分析该模型利用起始画面与行动指导来创建后续的视频片段，并对驾驶情境进行模仿及预判。

DrivingDojo的核心技术原理

• 信息采集通过美团无人车团队的自动驾驶车辆平台采集视频资料。
• 数据分析规划：挑选出自海量数据中蕴含广泛驾驶技能、多种智能体互动及开放式世界观知识的视频剪辑。
• 运动代码把诸如加速、减速和转弯等驾驶操作转化为模型可以识别的数据形式，以便于在制作视频时应用这些数据。
• 视频制作模型利用类似Stable Video Diffusion的技术方案，构建能够根据起始画面与动作指南来创造视频内容的系统模型。
• 动作指挥遵从（AIF）评价模型预测精度时，需对比生成的视频与给定的动作指令是否一致。
• 评价标准通过运用如FID（即弗雷谢特 inception 距离）与FVD（弗雷謝視頻距離）之类的评价标准来衡量所创建视频的画面品质，并利用AIF误差率检验动作指导的执行精度。

DrivingDojo项目的网址

• 官方网站项目https://github.com/drivingdojo
• Git代码库：https://github.com/Robertwyq/AutoPilotAcademy
• HuggingFace的模型集合：访问此链接可查看Yuqi1997创建的驾驶训练数据集——DrivingDojo，网址为https://huggingface.co/datasets/Yuqi1997/DrivingDojo。
• 关于arXiv的技术文章在学术资源共享平台ArXiv上，有一篇编号为2410.10738的论文可供查阅。

DrivingDojo的使用情境

• 研发自动驾驶技术算法科研人员正致力于开发与评估用于自动驾驶汽车的感知、预测及决策算法。
• 全球模型的培训该数据集应用于构建一个能够仿真现实驾车场景的互动型世界模型，在此过程中，模型具备预测未来情况及潜在事件的能力。
• 多个代理间的互动仿真通过仿真技术来改进自动驾驶汽车与行人间、骑行者间及其它机动车辆间的互动模式，从而完善其互动方案。
• 稀有情况与边缘状况的管理通过对模型进行训练以识别并恰当应对少见的情形，比如动物忽然穿越马路或是路面上出现障碍物，从而增强自动驾驶系统安全性能。
• 模拟测试与确认于虚拟场景中对自动驾驶技术进行检验，能够降低真实车辆测试的费用与潜在危险，并加快研发进度。