AI 技术周报
2026-10-18 至 2026-10-25，几项 AI 系统进展围绕同一个问题展开：计算之外的工作，怎样影响整体效率？Checkpoint 优化主机对象与恢复切片，四位推理调整数据转换的位置，RL 改善有效样本供给。Agent 把经验写成规则和接口，TorchTPU 则把 PyTorch 的执行与通信接到 TPU 上。
Checkpoint：写盘之外，快照和元数据也有开销
NVRx 将异步保存拆成快照准备、后台写盘和元数据收尾。在 CPU 共享内存路径中，训练进程先把 GPU 张量复制到暂存区，后台进程再写盘。再次使用同一暂存区前，需要等待上一次保存完成。这样，写盘可以与训练重叠，快照准备和各 rank 的收尾工作则需要分别优化。
NVRx 的一项 PR 将缓存的元数据对象树改成连续数组，减少 Python 垃圾回收需要遍历的对象；同时用共享索引表示各 rank 重复的张量名称，减少收尾通信。分片越多，这类主机工作越值得关注。缓存保存计划之后，元数据的表示和交换仍有优化空间。
PyTorch 分布式检查点（DCP）的恢复提案从另一端减少开销：沿用现有重分片计划，映射本地文件，取出目标 rank 所需的切片，再复制到目标张量。省下的是完整加载中间 storage 的步骤，目标复制仍保留；物理 I/O 和驻留内存（RSS）能减少多少，需要单独测量。截至 2026-10-25，这两项 PR 仍在审查。保存侧优化对象与通信，恢复侧减少中间数据物化，两者对应不同的开销。
https://github.com/NVIDIA/nvidia-resiliency-ext/pull/454
https://github.com/pytorch/pytorch/pull/201621
四位推理：紧凑存储与计算格式可以分开选择
Humming 将权重格式、缩放因子（scale）、零点（zero point）与执行配置分开描述，再按硬件和形状组合搬运、反量化与计算组件。在 Hopper 上，它读取 MXFP4 权重时将其转成 FP8，交给 FP8 Tensor Core 计算。权重以四位存储，矩阵乘法使用硬件已有的计算格式。
Flint 采用四位权重、16 位激活的 W4A16 路径。NVFP4 权重在加载时无损重排，激活和 KV Cache 保持 BF16；融合内核保留参考实现的舍入位置。其 vLLM 支持已于 2026-10-23 合并，更新了 2026-10-22 日报中的“尚未合并”状态。专用内核用于单卡 SM100，其他配置走标准层。
MiniMax-M3.1 将转换放在消费 KV Cache 的内核里：Blackwell 路径把 NVFP4 KV 转成 FP8；AMD CDNA4 路径将有限的 scale 与幅值组合预先舍入成 FP8，放入 2 KB 的本地数据共享内存（LDS）查表，补足对应原生转换指令的缺口。这几种实现都在延后数据展开，让转换贴近计算。收益由转换位置、硬件指令和模型的数值语义共同决定。
https://vllm.ai/blog/2026-10-21-humming
https://vllm.ai/blog/2026-10-21-flint
https://github.com/vllm-project/vllm/pull/62938
https://vllm.ai/blog/2026-10-23-minimax-m31-flash
RL：有效样本的供给与策略偏差相互牵制
异步 rollout 减少了训练等待，训练步骤还需要足够的学习信号。AgileRL 在 2026-10-20 的 Arena 报告中指出：组内奖励相同时，相对优势为零；过滤这些样本组后重新采样，又会延长训练步骤。
Arena 按任务保留奖励不同的轨迹。新组全部同奖时，它换入一条旧轨迹，并提高近期仍能产生奖励差异的任务的采样概率。复用轨迹减少无效 rollout，也引入旧策略生成的数据，因此缓存还要按年龄淘汰。样本供给和离策略偏差需要一起控制。
Prime Intellect 在 2026-10-19 的技术说明中介绍了 IPO：检查同一 token 在训练与推理两侧的概率，绝对差超过阈值时屏蔽该 token。稀有 token 的小幅绝对变化可能产生很大的概率比值；高概率 token 丢失较多概率质量时，比值也可能落在宽阈值内。绝对差提供了另一种筛选依据。该方法已随 2026-10-14 的版本提供。
Arena 的组重放补充学习信号，IPO 约束训练与采样分布的偏离。两者处理不同层次的问题，组合效果仍需实验验证。
https://agilerl.com/blog/benchmarking-arena-against-top-open-source-rl-libraries
https://www.primeintellect.ai/blog/prime-rl-0-10-verifiers-0-4
https://github.com/PrimeIntellect-ai/prime-rl/blob/main/docs/ipo.md
https://github.com/PrimeIntellect-ai/prime-rl/releases/tag/v0.10.0
Agent：经验既能改进决策，也能改进操作接口
2026-10-20 的 ALTK-Evolve 将成功与失败轨迹提炼成提示词规则，保持模型权重不变。在 20 个留出航空任务、GPT-4.1 Agent 和 GPT-5.5 用户模拟器的实验中，14 条高支持度规则取得 45% 的 Pass⁴，101 条完整规则取得 40%。完整规则集的平均准确率更高，精简规则集则有更高比例的任务在四次尝试中全部成功。单次表现与重复成功率呈现出不同的取舍。
2026-10-21 介绍的 Agent S4 直接改进可执行接口，例如把逐格修改表格变成批量操作，再附上使用条件。元 Agent 只读取合成训练任务的轨迹来改写接口，再通过独立验证成绩选择下一代接口库。经验由此既影响动作选择，也影响一次动作的工作量和返回的证据。
论文中的对照需要结合执行框架（Harness）来看。OSWorld V2 从 5.56% 到 21.30% 的结果使用同一模型，同时更换了 Qwen CUA 与 Prime Agent 框架。ScienceBoard 则固定 Qwen3.8-27B 和 Prime Agent：169 项任务中，种子接口完成 93 项，演化接口完成 99 项。这组结果更直接地反映接口变化，任务集包含用于选择接口库的 15 项验证任务。
https://huggingface.co/blog/ibm-research/altk-evolve-bc
https://arxiv.org/html/2610.28601
TorchTPU：上层框架复用，底层执行与通信协同
2026-10-20 公布的 TorchTPU 提供 PyTorch 原生 TPU 后端。vLLM 和 SGLang 可以保留已有的 worker、请求调度器与 KV 管理，设备侧接入 XLA 和 Pallas 内核。相比已有的 JAX 后端，这条路径让模型开发和服务部署更贴近 PyTorch 生态。
集合通信决定了编译图的一条边界。TorchTPU 默认单独编译集合通信，使不同 rank 使用一致的通信程序；XLA 跨通信边界安排计算重叠的空间也随之缩小。确认代码满足单程序多数据（SPMD）条件后，可将集合通信纳入更大的编译图，再由编译器调度。2026-10-21 日报中的 eager 与编译模式，需要结合这项跨 rank 一致性约束理解。
跨主机 KV 搬运由 TPU Sync 承担：它直接读取 PyTorch 张量背后的设备缓冲，在 Python 之外的线程中传输，同时服务于 Prefill/Decode 分离和分级缓存卸载。上层框架提供模型与请求管理，编译与传输机制负责协调底层工作，两部分共同决定复用路径的执行效率。
https://pytorch.org/blog/introducing-torchtpu/
https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu/