AI 技术日报

2026-10-18

本期重点：并发量化、分层 KV 缓存、GPU 时间配额与代码检索成本。

重点

并发 MXFP8 量化：Tensor Map 不能共用可变状态

Transformer Engine（TE）的问题报告指出，多条 CUDA 执行流（stream）会修改同一静态 Tensor Map。随后发起的 TMA 数据搬运可能读到另一条执行流写入的描述符。作者提供了 B200 并发复现，暴露出描述符使用周期重叠的问题。

https://github.com/NVIDIA/TransformerEngine/issues/3630

HiCache 恢复草稿 KV 时漏掉了 scale

SGLang 的 NVFP4 HiCache 报告发现，多 token 预测（MTP）的草稿缓存未正确恢复行布局和块缩放因子（block scale）。缓存命中后，平均接受长度从 2–3 降至约 1，吞吐比关闭 MTP 的对照低约 25%。恢复缓存时需要同时还原量化数据及其 scale。

https://github.com/sgl-project/sglang/issues/43239

Ai2 用 GPU 时间配额缓解排队

Ai2 将固定卡数配额改为 GPU 时间预算，让团队在有需求时集中使用资源。30 天观察中，各团队合计获得应得 GPU 时间的 98%，集群占用率维持 98%。调试任务排队时间的第 90 百分位数（P90）从约两小时降至 30 秒。旧调度器下的调试样本较少。

https://huggingface.co/blog/allenai/impactful-scheduling

ColGrep-Agent：减少 token，增加单题耗时

ColGrep-Agent 用本地小模型搜索代码，再把相关位置交给 Claude Code。在 13 个仓库的 52 道代码搜索题上，API token 减少 34%，计入缓存的 API 费用减少 40%，单题耗时从 13.0 秒增至 21.6 秒。正确率为 80.8%，grep 对照为 83.3%，差异未达到统计显著。

https://huggingface.co/blog/lightonai/colgrep-agent

简讯

mbarrier 的释放顺序

TE 的代码检查发现，其他线程作废同步屏障（barrier）时，部分线程可能仍在轮询它。作者没有在硬件上复现错误。随后，作者确认相关修改已修复该顺序问题，并关闭 issue。

https://github.com/NVIDIA/TransformerEngine/issues/3647

Kimi-K3 MegaKernel

vLLM 将小 batch 解码中的多个操作融合，减少内核启动开销。16 张 GB300 上的 842 token/s 使用了平均接受长度为 6 的合成 DSpark 设置。

https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel

Beam 使用 DFlash2 投机解码

vLLM 的 Beam 集成采用 DFlash2。TP8 单请求在 SPEED-Bench 低熵文本子集上达到 708 token/s，平均接受长度为 3.7。测试采用约 1K 输入、最多 4K 输出和贪心解码。

https://vllm.ai/blog/2026-10-16-reflection-beam

MXFP8 autotune：后续定位推翻了初始猜测

FlashInfer 最初将故障归因于随机 scale。后续检查发现，性能分析器（profiler）只按数据类型推断缩放模式，把 MXFP8 错当成无 block scale 的路径，产生空 scale 工作区。相关修复已合入，issue 于 2026-07-15 关闭。

https://github.com/flashinfer-ai/flashinfer/issues/3558

ThinkingBox-Bench 检查最终业务状态

ThinkingBox-Bench 用 507 个有状态工作流评估 Agent，并对任务重复运行。评分检查数据库中的最终状态和副作用，能够发现工具调用返回成功、业务目标却未完成的情况。

https://huggingface.co/blog/microsoft/thinkingbox

ProvenanceGuard 检查引用归属

ProvenanceGuard 逐项检查回答与 MCP 来源的对应关系。例如，患者记录中的事实被归给医学论文时，即使这项事实存在于检索结果中，引用仍然错误。该方法保留来源身份，再判断支持关系。

https://huggingface.co/blog/MultiverseComputingCAI/getting-the-source-right-not-just-the-fact-source