3FS – DeepSeek开源的高性能分布式文件系统

AI工具3周前发布 ainav
37 0

3FS是什么

3FS(Fire-Flyer File System)是DeepSeek推出的高性能分布式文件系统,专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术,基于分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。3FS提供强一致性保障,提供通用文件接口,无需学习新的存储API。3FS在大规模数据处理和推理优化中表现出色,在GraySort测试中达到3.66 TiB/min的吞吐量,KVCache读取吞吐量可达40 GiB/s。

3FS – DeepSeek开源的高性能分布式文件系统

3FS的主要功能

  • 高性能数据访问:聚合数千个SSD的吞吐量和数百个存储节点的网络带宽,提供高达6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写,优化AI训练和推理任务中的数据加载效率。
  • 强一致性保障:实现链式复制与分配查询(CRAQ)技术,确保数据的强一致性,简化应用开发复杂性。
  • 通用文件接口:提供无状态元数据服务,支持事务性键值存储(如FoundationDB),用户无需学习新的存储API。
  • 优化AI工作负载
    • 数据准备:高效管理大量中间输出,支持层次化目录结构。
    • 数据加载:支持跨计算节点的随机访问,无需预取或数据集洗牌。
    • 检查点支持:为大规模训练提供高吞吐量并行检查点功能。
    • KVCache:为推理任务提供高吞吐量、大容量的缓存替代方案,优化推理效率。
  • 高扩展性和灵活性:支持大规模集群部署,适用于从单节点到数千节点的多样化应用场景。

3FS的技术原理

  • 分离式架构:基于计算与存储分离的设计,将存储资源集中管理,用高速网络(如RDMA)实现数据的高效传输。让应用以“位置无关”的方式访问存储资源,简化资源管理。
  • 链式复制与分配查询(CRAQ):为实现强一致性,3FS基于CRAQ技术。基于链式复制确保数据在多个副本间的一致性,用分配查询优化读取性能,减少延迟。
  • 无状态元数据服务:3FS推出无状态的元数据服务,基于事务性键值存储(如FoundationDB),提高系统的可扩展性,降低元数据管理的复杂性。
  • Direct I/O与RDMA优化:基于Direct I/O直接访问SSD,避免使用文件缓存,减少CPU和内存开销,用RDMA技术实现高效的数据传输,进一步提升性能。
  • KVCache技术:在推理任务中,基于KVCache缓存关键中间结果,避免重复计算,显著提高推理效率。KVCache结合高吞吐量和大容量的优势,是DRAM缓存的低成本替代方案。
  • 数据局部性优化:基于优化数据布局和访问模式,减少数据传输的延迟和带宽消耗,特别是在大规模分布式训练和推理任务中表现出色。

3FS的性能表现

  • 大规模读取吞吐量:在由 180 个存储节点组成的集群中,每个存储节点配备 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测,每个客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下,最终聚合读吞吐达到约 6.6 TiB/s。
  • GraySort性能测试:3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序测试,用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点(每个节点2个NUMA域,每个域1个存储服务,2×400Gbps NIC)和50个计算节点(每个节点192个物理核心,2.2 TiB内存,1×200Gbps NIC)。在该测试中,3FS成功完成110.5 TiB数据的排序任务,分布在8192个分区中,耗时仅30分钟14秒,平均吞吐量达到3.66 TiB/min。
  • KVCache推理优化:KVCache是3FS为优化LLM(大语言模型)推理过程而设计的缓存技术,基于缓存解码层中的关键向量和值向量,避免重复计算。在KVCache的性能测试中,读取吞吐量峰值达到了40 GiB/s,显著提升推理效率。KVCache的垃圾回收(GC)操作也表现出高IOPS性能,确保缓存的高效管理和更新。
3FS – DeepSeek开源的高性能分布式文件系统

3FS的项目地址

  • GitHub仓库:https://github.com/deepseek-ai/3FS

3FS的应用场景

  • 大规模AI训练:高效支持海量数据的快速读写,提升训练速度。
  • 分布式数据处理:优化数据加载和管理,支持随机访问,无需预取或洗牌。
  • 推理优化:通过KVCache缓存中间结果,减少重复计算,提升推理效率。
  • 检查点支持:提供高吞吐量的并行检查点功能,保障训练任务的稳定性和可恢复性。
  • 多节点计算环境:无缝集成到大规模集群,支持灵活扩展,满足不同规模的AI应用需求。
© 版权声明

相关文章