模型训练 / INTERACTIVE EXPLORATION

前沿模型训练图谱

从预训练到后训练与强化学习，以模型为线索，连接训练系统、技术路线与原始资料。

Frontier model training

15B → 2.8T

把公开的模型训练信息放在同一张地图上：从架构、数据到训练系统。

66模型16精选50训练规模已公开

01架构

02数据

03基础设施

04预训练

05后训练与 RL

16 / 66

MODEL PROFILE

Marin · 训练复盘 · 2026 · 32B

算力 / 训练

四阶段训练；公开 optimizer、batch、数据配比、loss spike 与恢复过程。

训练要点

2.679T 基线后多次诊断；切换 QK-Norm 后继续约 2.684T，最后约 1.074T Mantis cooldown。Muon restart、shuffle bug 等失败路径也有记录。

原始资料

资料字段

闭源 Frontier