新京报贝壳财经讯(记者罗亦丹)北京时间2月27日10点5分,DeepSeek发布了其“开源周”第四日的内容:优化的并行策略,其中包括DualPipe,一种用于V3/R1训练中计算与通信重叠的双向管道并行算法, 以及EPLB,一种针对V3/R1的专家并行负载均衡器。

此外,DeepSeek还公开分享了其训练和推理框架的性能分析数据,从而帮助开源社区更好地了解通信与计算重叠策略和底层实现细节。

编辑 寇德娜

校对 王心

点赞(0)
发表
评论
返回
顶部