DeepSeek 3FS 架构分析和思考

主要观点总结

本文深入探讨了DeepSeek的3FS文件系统，涵盖了其整体架构、设计细节、工作原理和关键特性。

关键观点总结

关键观点1: 3FS文件系统概述

DeepSeek的3FS文件系统是一个为高性能存储而设计的分布式文件系统，支撑了DeepSeek V3模型训练、推理的全流程。它采用了存算分离的设计架构，并具备高性能、高可靠性和可扩展性。

关键观点2: 3FS整体架构

3FS系统由四个主要组件构成：Cluster Manager、Client、Meta Service和Storage Service。这些组件通过RDMA网络连接，实现高速互联。Cluster Manager是整个集群的中控，承担节点管理的职责。

关键观点3: 客户端与存储服务

3FS提供了两种形态的客户端：FUSE客户端和原生客户端。FUSE客户端适配门槛较低，但性能存在瓶颈。原生客户端提供更高的性能，但需要改造源代码来使用。Storage Service负责数据存储服务，采用存算一体设计，每个存储节点管理本地SSD存储资源。

关键观点4: CRAQ复制与数据可靠性

3FS采用链式复制CRAQ来保证数据可靠性。CRAQ的write-all-read-any特性对重读场景非常友好。系统通过分摊查询的CRAQ来避免单点故障，并提高吞吐能力。

关键观点5: 元数据服务

元数据服务是3FS的重要组成部分，它基于FoundationDB作为底层的KV存储系统。FoundationDB的事务语义和可靠性使得元数据服务能够简化设计，并提供高性能的POSIX语义接口。

关键观点6: 文件布局与动态Stripe Size机制

文件在3FS中的布局通过父目录的layout规则来确定，包括chain table和stripe size。为了提高小文件的读写效率，3FS引入了动态Stripe Size机制，可以调整存放文件数据的chain数量。

关键观点7: 数据恢复与写入流程优化

当存储服务出现故障时，3FS能够通过数据恢复机制保证数据的一致性。写入流程的优化则通过COW（Copy on Write）方式和full-chunk-replace写来实现边写边恢复。