Notes

Data Parallel

从梯度同步走向 ZeRO 与 FSDP，讨论有效 batch、模型状态、通信和显存。

从 token 路由理解专家并行，串联原始论文与实现，讨论 TP / EP、通信和负载均衡。

从序列切分走向 Ring、Ulysses 与长上下文推理，讨论通信、归一化和因果负载。

从调度图理解 GPipe、1F1B 与 Zero Bubble，精选论文与实现，讨论气泡、通信、显存和权重版本。

从矩阵切分理解 TP，精选图解、论文与实现，讨论 TP 通信量、并行度及其与 EP 的取舍。

从 PyTorch 权重到 ONNX 计算图，理解 Safetensors、模型分片、格式转换与运行时兼容性。

以 PyTorch DCP 为主线，理解训练状态、分片保存、异步快照、文件提交与恢复验证。

从 scale、零点与舍入走到量化算法，精选论文与实现，讨论整数推理和低精度训练。

从硬件通路、显存映射到数据搬运与同步，理解单机内两张 GPU 如何交换数据。

从时间线理解捕获与重放，讨论动态图、显存、训练与推理中的取舍。

从执行模型与存储层次走到指令，精选架构图解、微基准论文与性能分析资料。

从分块复用走到异步流水线、调度与低精度实现，讨论矩阵形状和性能测量。

从预训练到后训练与强化学习，以模型为线索，连接训练系统、技术路线与原始资料。