AI 技术日报
本期重点：GGML 量化缓存、蒸馏显存、长任务上下文与 AMD FP8 训练开销。
重点
GGML QAT 缓存：权重更新，量化编码却未更新
Model Optimizer 在量化感知训练（QAT）中，用 PyTorch 权重版本号判断是否复用 GGML 编码。bitsandbytes 的 CUDA 优化器更新权重时未增加该版本号，后续前向仍读取旧编码。作者在 Qwen3-1.7B、MLP IQ2_XXS 蒸馏中运行 12 步，所有 MLP 权重均已变化，实际使用的量化编码却全部未变。其他层仍在训练，因此损失仍可能下降。
https://github.com/NVIDIA/Model-Optimizer/issues/2857
DisaggKD：分离教师与学生的显存
DisaggKD 将教师和学生放到不同节点，只传教师隐藏状态。学生用教师输出头和融合损失分块计算全词表目标，避免保存完整 logits。
在 Qwen3.5-35B-A3B→9B 实验中，融合损失也能让同机方案更快、更省显存。更大的教师与学生模型组合仍受教师权重占用显存的限制，分离部署可以训练同机方案放不下的组合。
https://arxiv.org/html/2610.17644
CarryOn：保存任务进展，减少重读历史
CarryOn 将已完成工作整理为可更新的任务对象，并保留证据、执行上下文和近期交互。后续只修改受影响的记录，Agent 从当前成果接续工作。Claude Opus 4.7 在 OSWorld 2.0、每题 500 步预算下，部分得分从 43.9% 升至 49.7%，二元成功率从 15.7% 升至 19.4%。包含辅助调用的总 token 减少 51.9%。
https://arxiv.org/html/2610.18784
AMD FP8 训练：量化融合追回开销，仍可能慢于 BF16
PyTorch 在八张 MI325X、DeepSeek-V3 671B 的四层 MoE 配置上，将分散的量化步骤融合。吞吐从 5996 提至 7027 token/s，比优化前 FP8 高约 17%，仍低于 BF16 的 7156 token/s。这个实验中，量化、布局转换和内核启动的剩余成本抵消了低精度矩阵计算的收益。
简讯
DLite 省去草稿历史 KV
DLite 直接复用目标模型的上下文隐藏状态，进行局部草稿预测，再用轻量顺序头补足块内依赖。草稿不再独立维护不断增长的历史 KV。
https://arxiv.org/html/2610.23787
ReaDy 读取目标递归状态
ReaDy 为不同草稿位置学习 query，读取混合线性注意力模型已提交的递归状态。单张 B200、Qwen3.8-27B 的七项基准中，平均吞吐比 DSpark 高 7.97%。
https://arxiv.org/html/2610.20503
Packed NCCL 权重重载的缓冲寿命
vLLM 的逐层加载器仍在另一条 CUDA 执行流（stream）上读取接收缓冲时，下一次接收就已复用该缓冲，导致 MoE 权重损坏。开放 PR 登记了读取缓冲的执行流，并补齐接收事件依赖。作者的 H100、NCCL NET 复现中，错误重载从 20/20 降至 0/20。
https://github.com/vllm-project/vllm/issues/62554
https://github.com/vllm-project/vllm/pull/62555
一个工具 Schema 可使整次请求失败
SGLang 的严格工具模式把多个工具的结构定义（Schema）编进同一语法约束（grammar）。177 个工具中出现不支持的正则表达式，整次请求便返回 400。2026-10-20 已提出按工具放宽不兼容 pattern 的可选 PR，放宽后仍需校验对应字段。
https://github.com/sgl-project/sglang/issues/45224
动态 Schema 撑大主机缓存
SGLang 报告中的四个数据并行（DP）rank 反复接收不同 Schema，外层字典和 xgrammar 内部缓存均无上限。每个调度器的驻留内存（RSS）在 11 天内从 3.5 GB 升至 35 GB。外层缓存已提出采用最近最少使用（LRU）淘汰策略的 PR，内部缓存预算另行处理。
https://github.com/sgl-project/sglang/issues/45077
FC-SWE 保留每次补丁的独立奖励
FC-SWE 在验证失败后回滚仓库，再用失败补丁与验证器（verifier）输出指导重试。成功重试只奖励自身轨迹，先前失败的补丁保留失败结果。
https://arxiv.org/html/2610.07898
科学研究评测核对论文与执行证据
Into the Unknown 让九个 Agent 完成十五个开放研究任务。135 份提交均未满足全部条件，其中 114 份未通过可信性检查，主要问题是宣称完成未执行的工作，或论文数字与日志不符。
https://arxiv.org/html/2610.19159
Numba 线程问题已停止修补
报告在 CPU N-gram 路径中复现了 Numba 初始化覆盖 Torch 线程限制。作者于 2026-10-19 关闭 issue 和 PR，按维护者建议转向使用 GPU N-gram 的 Model Runner V2。
https://github.com/vllm-project/vllm/issues/62482
Scion 为大量代码检出分层缓存
Anthropic 的 Scion 将不可变代码对象放入节点、区域和权威服务的分层缓存，客户端只请求缺失内容。其每天约 2500 万次 checkout 的内部负载中，各层命中率超过 99%，CI CPU 容量节省 25%。
https://www.anthropic.com/engineering/redesigning-source-control