前沿模型训练图谱
从预训练到后训练与强化学习,以模型为线索,连接训练系统、技术路线与原始资料。
阅读与探索 ↗关于模型、系统,以及让它们运转的细节。
用笔记记录思考,用交互看见过程。
从预训练到后训练与强化学习,以模型为线索,连接训练系统、技术路线与原始资料。
阅读与探索 ↗走进 CTA 与 SM 内部,在交互时间线中理解 DeepGEMM 的计算、数据搬运与流水线。
阅读与探索 ↗跟随数据分块在四个 rank 之间流动,一步步看懂 ReduceScatter 与 AllGather。
阅读与探索 ↗没有匹配的笔记,试试其他关键词。
从一个算子,
到整个训练系统。