DeepSeek 开源周第二日宣布推出 DeepEP，首个用于MoE模型训练和推理的开源 EP 通信库。
特点包括：
根据介绍，为了与 DeepSeek-V3 论文中提出的 group-limited gating algorithm 保持一致，DeepEP 提供了一组针对非对称域带宽转发（例如将数据从 NVLink 域转发到 RDMA 域）进行优化的内核。这些内核提供高吞吐量，使其适合训练和推理预填充任务。此外，它们还支持 SM (Streaming Multiprocessors) 数量控制。
对于延迟敏感的推理解码，DeepEP 包含一组具有纯 RDMA 的低延迟内核，以最大限度地减少延迟。该库还引入了一种 hook-based 通信计算重叠方法，该方法不占用任何 SM 资源。
相关阅读：
评论删除后，数据将无法恢复
DeepSeek 开源周第二日：开源 DeepEP 通信库
DeepSeek 开源周第二日宣布推出 DeepEP，首个用于MoE模型训练和推理的开源 EP 通信库。
特点包括：
根据介绍，为了与 DeepSeek-V3 论文中提出的 group-limited gating algorithm 保持一致，DeepEP 提供了一组针对非对称域带宽转发（例如将数据从 NVLink 域转发到 RDMA 域）进行优化的内核。这些内核提供高吞吐量，使其适合训练和推理预填充任务。此外，它们还支持 SM (Streaming Multiprocessors) 数量控制。
对于延迟敏感的推理解码，DeepEP 包含一组具有纯 RDMA 的低延迟内核，以最大限度地减少延迟。该库还引入了一种 hook-based 通信计算重叠方法，该方法不占用任何 SM 资源。
相关阅读：