1. 首页
  2. 快讯
  3. 正文

DeepSeek开源优化并行策略,发布DualPipe与EPLB

比特家园 2月27日消息,据DeepSeek(@deepseek_ai)公告,在开源周第四天,团队开源了多项优化并行策略,包括DualPipe(双向管道并行算法,优化V3/R1训练中的计算-通信重叠)、EPLB(专家并行负载平衡器,提高计算资源分配效率)及计算-通信重叠分析工具,帮助优化训练性能。

本分分类: 快讯

版权声明:本文由比特家园用户上传发布,不代表比特家园立场,转载联系作者并注明出处:https://www.yiyonghengchang.com/newsflash/30657.html

相关文章