AI 技术日报
本期重点：连续恢复时的数据游标、GPT-OSS 权重格式、内核与编译器联合调优，以及 TorchTPU 的执行方式。
重点
Checkpoint：第二次恢复可能读错文档
TorchTitan 恢复流式数据游标后，Hugging Face 要等到下一次读取才应用保存的位置。这时若打包器再次保存状态，会拿到旧游标。第二次重启后，尚未读完的文档就可能接到另一篇文档上。2026-10-20 合入的修复会保留恢复时的游标，直到成功读出下一条数据。新增测试覆盖两次恢复及中间的一次训练微批次（microbatch），并检查续训的输入、标签、位置和填充掩码（padding mask）与连续读取一致。
https://github.com/pytorch/torchtitan/pull/5501
GPT-OSS：BF16 导出要同时改名称和布局
TorchTitan 此前导出 GPT-OSS 的 BF16 专家权重时，沿用了 MXFP4 的 _blocks 名称和维度顺序。Transformers 因而找不到预期权重，在报告缺失键后重新初始化专家。2026-10-20 合入的适配器修复将普通导出改为 gate_up_proj、down_proj，转置输入与输出维度，并同步调整分片索引。量化加载继续使用 MXFP4 对应的映射。旧版已经导出的错误文件需要转换，或从 PyTorch 分布式检查点（DCP）重新导出。
https://github.com/pytorch/torchtitan/issues/4996
https://github.com/pytorch/torchtitan/pull/5064
Helion：把编译器参数放进调优搜索
2026-10-19 的 Helion 技术文章介绍了与 NVIDIA CompileIQ 的集成：搜索分块（tile）、线程束（warp）和流水级数时，也尝试不同的 PTXAS 编译控制文件。内核与编译器参数共同影响寄存器压力和溢出，联合搜索可以覆盖分别调优时容易漏掉的组合。选定配置后，可以保存控制文件供后续编译复用。
文章还单独测了固定 Helion 配置、只调编译器的收益。GB200 上，NVFP4 权重与激活的单行解码矩阵向量乘法（GEMV），在输出维度 8192、归约维度 28672 时，两轮复测均从约 97.5 μs 降到 93.0 μs，速度约为原来的 1.048 倍。基线已有预调优的提前编译（AOT）配置。实验使用 CUDA 13.3、锁定 GPU 时钟，并对照 PyTorch 实现检查数值。
TorchTPU：在 eager 中延迟并融合算子
2026-10-20 的 TorchTPU 架构文章介绍了 Google 与 Meta 合作开发的 PyTorch TPU 后端。它通过 PrivateUse1 接入 dispatcher，默认逐算子异步执行；可选的 DeferAndFuse 会积累算子，在 .item()、转到 CPU 等需要结果的位置，将相关计算合并编译，重复算子序列也可触发提前执行。torch.compile 则沿用 Dynamo 前端，再经 StableHLO 和 XLA 编译到 TPU。两条路径都能复用编译缓存，减少重复编译。
https://pytorch.org/blog/introducing-torchtpu/
简讯
Humming：统一量化描述，按设备选择内核
Humming 分别描述权重格式、缩放因子（scale）粒度和零点（zero point），再按 GPU 与矩阵形状选择执行配置。它复用数据搬运、反量化和计算组件，支持稠密模型与 MoE。在 Hopper 上，其四位权重、八位激活的 W4A8 路径能在内核中把 MXFP4 权重转为 FP8 计算，保留四位权重的存储收益。
https://vllm.ai/blog/2026-10-21-humming
Elastic EP：扩容时保留已有 CUDA Graph
vLLM 将新 worker 的准备工作移到后台，并用 NIXL EP 保持通信缓冲和图中地址稳定。2026-10-19 公布的 DeepSeek V4 Pro 实验使用 GB200、TP=1 和预热后的编译缓存。DP/EP 从 16 扩到 20 时，服务暂停从 99.62 秒缩至 0.82 秒，包含后台准备的完整扩容仍需 92.34 秒。
https://vllm.ai/blog/2026-10-19-elastic-ep-near-zero-downtime
ALTK-Evolve：从执行经历中提炼规则
IBM 用 GPT-4.1 从训练任务的成功与失败轨迹中提取规则，再将规则加入 Agent 提示词。模型权重保持不变。在 τ²-bench 的 40 个留出零售任务上，使用 GPT-4.1 Agent、GPT-5.5 用户模拟器和完整规则集后，四次尝试全部成功的任务比例从 57.5% 升至 67.5%。
https://huggingface.co/blog/ibm-research/altk-evolve-bc
SlideOn：把已有检索表示转成稀疏向量
LightOn 先用稀疏自编码器学习已有模型的 token 表示，再做检索微调。SlideOn 从 DenseOn 初始化，mSlideOn 从 mLateOn 初始化，输出可用于倒排索引的稀疏向量。训练还覆盖不同剪枝预算，推理时可调整保留的特征数量，控制搜索与索引存储成本。
https://huggingface.co/blog/lightonai/slideon-mslideon
Agent 后训练课程索引
Hugging Face 将 SFT、蒸馏、RL、环境交互与真实 Harness 训练整理为一条学习路线，附方法图解、文档和代码示例。最后一节介绍通过实际 Agent 执行环境生成完整 rollout，并将生成与训练放到不同 GPU 上，减少长任务造成的训练等待。