3FS – DeepSeek开源的高性能分布式文件系统

37 0 0

3FS是什么

3FS（Fire-Flyer File System）是DeepSeek推出的高性能分布式文件系统，专为AI训练和推理任务设计。3FS用现代SSD和RDMA网络技术，基于分离式架构聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达6.6 TiB/s的读取吞吐量。3FS提供强一致性保障，提供通用文件接口，无需学习新的存储API。3FS在大规模数据处理和推理优化中表现出色，在GraySort测试中达到3.66 TiB/min的吞吐量，KVCache读取吞吐量可达40 GiB/s。

3FS的主要功能

高性能数据访问：聚合数千个SSD的吞吐量和数百个存储节点的网络带宽，提供高达6.6 TiB/s的读取吞吐量。支持大规模集群中的高吞吐量并行读写，优化AI训练和推理任务中的数据加载效率。
强一致性保障：实现链式复制与分配查询（CRAQ）技术，确保数据的强一致性，简化应用开发复杂性。
通用文件接口：提供无状态元数据服务，支持事务性键值存储（如FoundationDB），用户无需学习新的存储API。
优化AI工作负载：
- 数据准备：高效管理大量中间输出，支持层次化目录结构。
- 数据加载：支持跨计算节点的随机访问，无需预取或数据集洗牌。
- 检查点支持：为大规模训练提供高吞吐量并行检查点功能。
- KVCache：为推理任务提供高吞吐量、大容量的缓存替代方案，优化推理效率。
高扩展性和灵活性：支持大规模集群部署，适用于从单节点到数千节点的多样化应用场景。

3FS的技术原理

分离式架构：基于计算与存储分离的设计，将存储资源集中管理，用高速网络（如RDMA）实现数据的高效传输。让应用以“位置无关”的方式访问存储资源，简化资源管理。
链式复制与分配查询（CRAQ）：为实现强一致性，3FS基于CRAQ技术。基于链式复制确保数据在多个副本间的一致性，用分配查询优化读取性能，减少延迟。
无状态元数据服务：3FS推出无状态的元数据服务，基于事务性键值存储（如FoundationDB），提高系统的可扩展性，降低元数据管理的复杂性。
Direct I/O与RDMA优化：基于Direct I/O直接访问SSD，避免使用文件缓存，减少CPU和内存开销，用RDMA技术实现高效的数据传输，进一步提升性能。
KVCache技术：在推理任务中，基于KVCache缓存关键中间结果，避免重复计算，显著提高推理效率。KVCache结合高吞吐量和大容量的优势，是DRAM缓存的低成本替代方案。
数据局部性优化：基于优化数据布局和访问模式，减少数据传输的延迟和带宽消耗，特别是在大规模分布式训练和推理任务中表现出色。

3FS的性能表现

大规模读取吞吐量：在由 180 个存储节点组成的集群中，每个存储节点配备 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD。大约 500+ 个客户端节点用于读压测，每个客户端节点配置 1x200Gbps InfiniBand 网卡。在训练作业的背景流量下，最终聚合读吞吐达到约 6.6 TiB/s。
GraySort性能测试：3FS在GraySort基准测试中表现出色。GraySort是大规模数据排序测试，用在衡量分布式系统的数据处理能力。测试集群包括25个存储节点（每个节点2个NUMA域，每个域1个存储服务，2×400Gbps NIC）和50个计算节点（每个节点192个物理核心，2.2 TiB内存，1×200Gbps NIC）。在该测试中，3FS成功完成110.5 TiB数据的排序任务，分布在8192个分区中，耗时仅30分钟14秒，平均吞吐量达到3.66 TiB/min。
KVCache推理优化：KVCache是3FS为优化LLM（大语言模型）推理过程而设计的缓存技术，基于缓存解码层中的关键向量和值向量，避免重复计算。在KVCache的性能测试中，读取吞吐量峰值达到了40 GiB/s，显著提升推理效率。KVCache的垃圾回收（GC）操作也表现出高IOPS性能，确保缓存的高效管理和更新。