DeepSeek开源周第五天：3FS并行文件系统，榨干SSD带宽

主要观点总结

DeepSeek团队最后公开了两个重要项目：全生命周期数据访问引擎Fire-Flyer File System（3FS）和基于3FS的数据处理框架Smallpond。文章介绍了这两个项目的特点、性能及使用方法。

关键观点总结

关键观点1: 3FS的特点和性能

3FS是一个利用现代SSD和RDMA网络带宽的并行文件系统，具有高性能、可扩展性和易用性。它支持多样化的工作负载，包括数据准备、数据加载优化和高效检查点支持等。最大吞吐量达到约6.6TiB/s，KVCache推理加速提供了高吞吐量和更大的存储容量。

关键观点2: Smallpond的特点和用途

Smallpond是一个基于3FS的数据处理框架，具有快速入门、高级和低级API、灵活的数据流图构建等特点。它支持Python 3.8到3.12版本，可用于读取、处理和保存数据。采用GraySort基准测试，评估了smallpond在处理大规模数据集时的排序能力，平均吞吐量达到3.66 TiB/min。

关键观点3: DeepSeek开源周的其他项目

在DeepSeek开源周中，除了3FS和Smallpond，还发布了其他三个项目，包括DeepGEMM通用矩阵乘法库、DeepEP通信库和FlashMLA。这些项目在训练速度、GPU利用和优化经验方面都有显著贡献。