【AI】DeepSeek第五天开源猛料，3FS并行文件系统榨干SSD！6.6 TiB/s吞吐量堪比光速

文章预览

来源：新智元 【导读】 DeepSeek最后一天，送上了3FS文件并行系统，以及数据处理框架Smallpond。五天开源连更，终于画上了完美的句号。 最后一天，DeepSeek开源了全生命周期数据访问引擎Fire-Flyer File System（3FS），以及基于3FS的数据处理框架Smallpond。 3FS（萤火虫文件系统）是一个充分利用现代SSD和RDMA网络带宽的并行文件系统，其特点是： 在180节点集群中实现了6.6 TiB/s的总读取吞吐量 在25节点集群的GraySort基准测试中达到了3.66 TiB/min 的吞吐量 每个客户端节点的KVCache查询峰值吞吐量超过40+ GiB/s 采用分离式架构，确保了强一致性 全面支持V3/R1的训练数据预处理、数据集加载、检查点保存/重载、嵌入向量搜索和KVCache查询推理 Smallpond是轻量级的数据处理框架，其特点是： 基于DuckDB的高性能数据处理 可扩展性，能够处理PB级别数据集 无需持续运行的服务， ………………………………