Pipeline Parallel

两者的分母不同。设流水线有 $p$ 个均衡阶段，每步有 $m$ 个 microbatch。用同步 GPipe 的简化模型，忽略通信，且各阶段的前向、反向耗时分别相同。气泡时间相对于理想工作时间的比例是 $(p-1)/m$；气泡占总时间的比例是 $(p-1)/(m+p-1)$。

例如 $p=8,m=16$，两种口径分别约为 43.8% 和 30.4%。引用一个气泡比例时，先确认它除以的是哪段时间。

GPipe 先完成一批前向，再统一做反向，需要同时保存多个 microbatch 的激活。1F1B 在预热后交替执行前向和反向，让较早进入的 microbatch 更早释放激活。

在阶段均衡的同步、非交错调度中，1F1B 与 GPipe 的理想气泡相同。它的直接收益是减少同时存活的激活，进而容纳更大的 microbatch 或减少重计算。

一个线性层的反向至少包含输入梯度和权重梯度。上游阶段要等输入梯度，权重梯度则只需在对应的优化器更新前准备好。调度器因此可以先计算输入梯度，把权重梯度安排到后续空隙。

延后计算会延长部分激活的存活时间。能填多少气泡，取决于各项实际耗时、显存预算和跨阶段通信；论文中的不同调度正是在这些条件之间取舍。

先看非交错流水线。设有 $p$ 个阶段、$m$ 个 microbatch，每个边界传递的激活和反向梯度都为 $S$ 字节。统计所有阶段的发送量之和，一次前向加反向为 $2m(p-1)S$。

例如 $p=8,m=16,S=16\,\mathrm{MiB}$，合计发送 3.5 GiB。它是所有边界的总发送量，每份传输只计一次；再把接收量相加会得到两倍。

真实模型的边界形状可能不同。此时逐边界求和。交错调度增加了模型块之间的交接，也需要重新统计，不能继续套用原来的阶段数。

固定全局 batch 时，增加 microbatch 数量会缩小每个 microbatch。流水线更容易填满，但 GEMM 也会变小，启动和通信次数会上升。

固定 microbatch 大小时，增加数量则会改变一次更新处理的样本数。比较速度时，要同时记录全局 batch、microbatch 大小、阶段数和数据并行度。

1F1B 描述前向与反向的执行次序。训练语义还取决于什么时候更新权重。Megatron 的同步流水线会在本轮 microbatch 的梯度准备好后更新参数，因此本轮使用同一版本的权重。

PipeDream 等异步方案允许不同批次跨更新边界运行，需要处理权重版本和梯度陈旧性。读调度图时，要把优化器更新的位置也标出来。

单个 token 仍要按层经过所有阶段。把层分开本身没有缩短这条依赖链，还增加了阶段间传输。PP 的主要作用是容纳模型，并让不同请求或 microbatch 在不同阶段同时运行。

因此服务吞吐和单请求延迟可能朝不同方向变化。Decode 时还要考虑每条序列的逐 token 依赖，以及调度器能否持续为各阶段提供工作。

Embedding、输出层、MoE 路由和重计算会让阶段耗时不同。怎样在固定负载下记录计算、等待、通信及显存峰值，再调整切分？