DeepSeek 开源周第五日，发布面向 DeepSeek 全数据访问的推进器 3FS。
Fire-Flyer 文件系统（Fire-Flyer File System, 3FS）是一款并行文件系统，支持 V3/R1 版本中训练数据预处理、数据集加载、检查点保存 / 重载、推理阶段的向量嵌入搜索及 KVCache 查找。
3FS 性能亮点
集群高吞吐：在 180 节点集群中，3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。
基准测试优异：在 25 节点集群的 GraySort 基准测试中，3FS 达到了 3.66 TiB / min 的吞吐量。
单节点高性能：每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。
架构先进： 3FS 采用去中心化架构，并具备强一致性语义。
3FS 应用场景
3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统，旨在解决 AI 训练和推理工作负载带来的挑战，利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。其核心优势在于高性能、强一致性和易用性，能够有效支持各种 AI 工作负载，包括数据准备、数据加载、检查点设置和推理缓存。
3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用，涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。
Smallpond
此外，DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond，是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力，可扩展至 PB 级数据集，并且操作简便，无需长期运行的服务。
【DeepSeek 开源周完整回顾】
评论删除后，数据将无法恢复
DeepSeek 开源周第五日：高性能并行文件系统 3FS
DeepSeek 开源周第五日，发布面向 DeepSeek 全数据访问的推进器 3FS。
Fire-Flyer 文件系统（Fire-Flyer File System, 3FS）是一款并行文件系统，支持 V3/R1 版本中训练数据预处理、数据集加载、检查点保存 / 重载、推理阶段的向量嵌入搜索及 KVCache 查找。
3FS 性能亮点
集群高吞吐：在 180 节点集群中，3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。
基准测试优异：在 25 节点集群的 GraySort 基准测试中，3FS 达到了 3.66 TiB / min 的吞吐量。
单节点高性能：每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。
架构先进： 3FS 采用去中心化架构，并具备强一致性语义。
3FS 应用场景
3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统，旨在解决 AI 训练和推理工作负载带来的挑战，利用现代 SSD 和 RDMA 网络提供共享存储层，简化分布式应用程序的开发。其核心优势在于高性能、强一致性和易用性，能够有效支持各种 AI 工作负载，包括数据准备、数据加载、检查点设置和推理缓存。
3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用，涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。
Smallpond
此外，DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond，是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力，可扩展至 PB 级数据集，并且操作简便，无需长期运行的服务。
【DeepSeek 开源周完整回顾】