专题：DeepSeek为何能转化民众AI圈绵竹年画博物馆—绵竹年画

　　炒股就看金麒麟分析师研报，巨擘，专科，实时，全面，助您挖掘后劲主题契机！

　　新智元报谈

　　剪辑：桃子 好困

　　【新智元导读】DeepSeek开源第四天，连更三个名堂。DualPipe、EPLB、以及筹谋与通讯近似机制的优化并行计谋，让大模子测验更快，资本更低，还能保合手顶尖性能。

　　开源周第4天，DeepSeek放出的是——优化并行计谋，一共三个名堂。

　　值得一提的是，DualPipe是由三个东谈主——Jiashi Li、Chengqi Deng和梁文峰共同研发。

　　有网友对此暗意，这是一个颠覆性的冲破。

　　‘DualPipe和EPLB让大模子的测验更快、更低廉、更可合手续，同期保合手顶尖性能’。

　　开源仅剩临了一天，评述区网友纷纷许诺：未来一定要来个大的。

　　DualPipe

　　DualPipe是DeepSeek-V3本领发达中建议的一种更正双向活水线并行算法。

　　它大致已毕前向与后向筹谋和通讯阶段的所有这个词近似，同期有用减少活水线气泡（安定时间）。

　　周折有筹划

　　上图展示了在8个活水线并行阶段和20个micro-batches情况下，DualPipe在两个方进取的周折示例。

　　由于反向场所的微批次与前向场所对称，为了简化图示，这里不祥了反向场所的batch ID。图中由归并个玄色边框包围的两个单位格暗意同期进行的筹谋和通讯操作，它们已毕了互相近似。

　　活水线气泡与内存使用比拟

　　图中，代表前向块（forward chunk）的推论时间，代表竣工后向块（full backward chunk）的推论时间，代表‘权重后向’（backward for weights）块的推论时间，而&则暗意同期推论且互相近似的前向和后向块的推论时间。

　　快速初学

　　使用示举例下：

　　刺目：在内容坐褥环境中，需要凭证模块特质来已毕一个定制化的overlapped_forward_backward门径。

　　民众并行负载平衡器（EPLB）

　　在使用民众并行（EP）时，不同的民众模块会被分拨到不同的GPU上。由于各个民众的筹谋负载会随面前任务而变化，因此保合手各GPU间负载平衡至关伏击。

　　如DeepSeek-V3论文所述，连络东谈主员承袭了冗余民众（redundant experts）计谋，对高负载民众进行复制。

　　随后，通过启发式算法将这些复制的民众合理分拨到各GPU上，确保筹谋资源的平衡欺诈。

　　此外，由于DeepSeek-V3承袭了组内限制民众路由（group-limited expert routing）机制，连络团队尽可能将归并组的民众放弃在归并节点上，以减少节点间的数据传输支拨。

　　为了便于复现和部署，DeepSeek在eplb.py文献中开源了EP负载平衡算法。该算法大致凭证臆测的民众负载，筹谋出平衡的民众复制和放弃有筹划。

　　需要阐述的是，民众负载的具体估量门径不在此代码库的照看范围内，一种常用的门径是承袭历史统计数据的滑动平均值。

　　算法旨趣

　　负载平衡算法提供了两种计谋，适用于不同场景：

　　· 脉络负载平衡（Hierarchical Load Balancing）

　　当行状器节点数目大致整除民众组数目时，连络东谈主员承袭脉络负载平衡计谋，来充分欺诈组内限制民众路由机制。

　　最初，他们将民众组均匀分拨到各节点，确保节点间负载平衡；然后，在每个节点里面复制民众模子；临了，将复制后的民众打包分拨到各个GPU上，已毕GPU间的负载平衡。

　　这种脉络化计谋非常适用于预填充阶段（prefilling stage），此时民众并行边界较小。

　　· 全局负载平衡（Global Load Balancing）

　　在其他情况下，连络东谈主员承袭全局负载平衡计谋，不有计划民众组的限制，平直在全局范围内复制民众并分拨到各个GPU上。这种计谋更相宜解码阶段使用，此时民众并行边界较大。

　　接口示例

　　负载平衡器的中枢函数是eplb.rebalance_experts。

　　底下的代码展示了一个双层搀杂民众模子（MoE）的示例，每层包含12个民众。

　　DeepSeek为每层引入了4个冗余民众，算计16个民众副本被分拨到2个筹谋节点上，每个节点配有4个GPU。

　　该脉络负载平衡计谋产生的成果，展示了如下民众复制与分拨有筹划。

　　DeepSeek基础门径中的性能解析数据

　　在这里，DeepSeek公开共享来自测验和推理框架的性能解析数据，旨在匡助社区更深切地清晰通讯与筹谋近似计谋以及干系底层已毕细节。

　　这些解析数据是通过PyTorch Profiler器具获得的。

　　你不错下载后在Chrome浏览器中打听chrome：//tracing（或在Edge浏览器中打听edge：//tracing）平直进行可视化稽查。

　　需要阐述的是，为了便于解析，连络东谈主员模拟了一个所有这个词平衡的MoE路由计谋。

　　测验进程

　　测验解析数据展示了，连络东谈主员在DualPipe中怎么已毕单对前向和后向筹谋块的近似计谋。每个筹谋块包含4个MoE层。

　　并行成就与DeepSeek-V3预测验修复保合手一致：承袭EP64、TP1，序列长度为4K。

　　为简化解析进程，未包含活水线并行（PP）通讯部分。

　　推理进程

　　· 预填充

　　在预填充阶段，解析成就承袭EP32和TP1的成就（与DeepSeek V3/R1内容在线部署一致），教导长度设为4K，每GPU批责罚量为16K个token。

　　连络东谈主员在预填充阶段使用两个micro-batches来已毕筹谋与all-to-all通讯的近似，同期确保刺眼光机制的筹谋负载在两个micro-batches间保合手平衡——这意味着归并条教导信息可能会被分割到不同micro-batches中责罚。

　　· 解码

　　解码阶段的解析成就承袭EP128、TP1，教导长度4K（与内容在线部署成就特地接近），每GPU批责罚量为128个肯求。

　　与预填充类似，解码阶段也欺诈两个micro-batches来近似筹谋和all-to-all通讯。

　　然而不同的是，解码进程中的全联通通讯不占用GPU流责罚器（SM）：RDMA音信发出后，通盘GPU流责罚器立即被开释，系统在完成筹谋后恭候全联通通讯完成。

　　对于all-to-all通讯已毕的更多本领细节，请参考DeepEP文档。

　　参考贵寓：

　　https：//x.com/deepseek_ai/status/1894931931554558199

职守剪辑：石秀珍 SF183绵竹年画博物馆—绵竹年画