DeepSeek开源周压轴神器：3FS文件系统，读取吞吐量达6.6TiB/s！再次打脸OpenAI？

文章预览

大数据文摘受权转载自头部科技 文丨都保杰 在DeepSeek开源周的最后一天，压轴出场的是Fire-Flyer文件系统 (3FS)，一种利用现代SSD和RDMA网络的全部带宽并行文件系统，以及基于此系统的数据处理框架Smallpond。 从性能参数来看，3FS文件系统助力实现了180节点集群中高达6.6TiB/s的聚合读取吞吐量级，达到数据传输性能的前沿水平。 在25节点集群中GraySort基准测试的吞吐量为3.66TiB/min，每个客户端节点的KVCache查找峰值吞吐量超过40GiB/s，值得关注的是，Smallpond框架还可进一步扩展以处理PB级数据集。 网友们纷纷称赞：“这些基准正在为AI数据处理树立新的标杆！3FS可能会彻底改变人工智能、科学研究等领域的数据密集型工作流程。” “堪称文件系统中的尤塞恩·博尔特，开源这款涡轮增压猛兽就像是免费为AI社区提供了加速引擎，让其他人都能争先恐后地跟上 ………………………………