前沿模型训练图谱
从预训练到后训练与强化学习，以模型为线索，连接训练系统、技术路线与原始资料。
架构→
数据→
基础设施→
预训练→
后训练与 RL
模型
Marin 32B
算力 / 训练
四阶段训练；公开 optimizer、batch、数据配比、loss spike 与恢复过程。
训练要点
2.679T 基线后多次诊断；切换 QK-Norm 后继续约 2.684T，最后约 1.074T Mantis cooldown。Muon restart、shuffle bug 等失败路径也有记录。
从预训练到后训练与强化学习，以模型为线索，连接训练系统、技术路线与原始资料。
四阶段训练；公开 optimizer、batch、数据配比、loss spike 与恢复过程。
2.679T 基线后多次诊断；切换 QK-Norm 后继续约 2.684T，最后约 1.074T Mantis cooldown。Muon restart、shuffle bug 等失败路径也有记录。