AI 技术日报
通信就绪与数值一致性、RL 全程能效,以及重计算、应用交付和显存分片的机制。
通信就绪与数值一致性、RL 全程能效,以及重计算、应用交付和显存分片的机制。
FP4 专家路由的误差补偿、GC-MoE 的通信与计算重叠,以及 Megatron-LM 的交错流水线。
ShardFly 如何缩短强化学习的权重更新,H100 上常驻内核与独立内核怎样重叠执行,以及六条简讯和 Tutel 经典回顾。
按内核选择性能指标,检查 RL 权重导出的舍入滞后;六条技术简讯与 Coz 经典回顾。
FlatCake 的 KV 缓存恢复;六条技术简讯,以及 FlashAttention 分块与重计算经典回顾。
Agent RL 沙箱的创建与清理、输出层量化误差;六条技术简讯与 DataStates-LLM 经典回顾。
FSDP 通信的数据布局与资源争用;六条技术简讯,以及 SimAI 性能模拟经典回顾。
MoE 投机解码的权重复用与内核效率;六条简讯,以及 Goldberg 浮点误差经典回顾。
H100 线程块分组与执行轮数、PyTorch 2.15 分布式通信,以及 Roofline 经典回顾。
TMA 的搬运收益与内核瓶颈;六条技术简讯,以及 Hydraulis 训练成本模型经典回顾。
同为 BF16 的训练与推理为何仍有数值差异;六条技术简讯,以及在线 Softmax 经典回顾。
Softmax 小梯度为何消失,uGDS 如何减少存储请求开销;五条简讯与 CheckFreq 异步保存经典回顾。
GPU 显存去重与 llm-d 1.0,以及分片、Agent 检索、机架容错、定量评测和网络协议。附参数服务器经典回顾。
异步 checkpoint 的主机开销,以及 RL 有效采样、Agent 接口、CXL 共享 KV、合成数据覆盖与运行时快照。
MiniMax-M3.1 的低精度转换与 GDS 路径核验;DIFFLET、DiffResearch、在线纠错蒸馏和 Spyre 编译后端。
DCP 按需加载 checkpoint、Flint 的量化存储与计算,以及训练、编程 Agent、世界模型和算子简讯。
连续恢复时的数据游标、GPT-OSS 权重格式、内核与编译器联合调优,以及 TorchTPU 的执行方式。
GGML 量化缓存、蒸馏显存、长任务上下文与 AMD FP8 训练开销。
低精度损失、长前缀通信、跨 TP 缓存布局与 Agent 训练数据。
并发量化、分层 KV 缓存、GPU 时间配额与代码检索成本。
训练与推理数值一致性、双向 KV 复用,以及 Agent Harness 的成本与收益。