AI 技术日报
本期重点：训练与推理数值一致性、双向 KV 复用，以及 Agent Harness 的成本与收益。
重点
RL 训练与推理：用同一前向内核消除数值偏差
vLLM 将推理前向内核接入训练，并用直通估计器计算反向，对齐两侧的 token 对数概率（logprob）。在 32 张 GB200、DeepSeek-V4-Flash 的 100 步 GRPO 数学实验中，未使用重要性采样修正的对照组出现明显 KL 漂移，一致性方案保持零差异。其 rollout 吞吐为对照的 91.3%。论文未单独测量训练端开销。
https://vllm.ai/blog/2026-10-14-train-inference-consistency
双向 KV：把 Decode 的缓存交还 Prefill
多轮 Agent 会把上一轮生成结果带入下一轮输入。双向 KV 传输将 Decode 新增的键值缓存（KV Cache）交还 Prefill，减少下一轮重复计算。vLLM 在 AWS P5en、EFA 互连的 1P1D 部署上测试，即一个 Prefill 实例配一个 Decode 实例。测试关闭了 Prefill 端前缀缓存，模拟本地缓存丢失。最长提示下，关闭与开启双向传输的首 token 延迟之比，Qwen3-32B 约为 1.6，GLM-5-FP8 约为 3.3。
https://vllm.ai/blog/2026-10-12-bidirectional-kvxfer-multiturn-agentic-workload
Agent Harness：收益取决于模型与任务
Naresh Jain 在 Martin Fowler 网站记录了一组 API 服务开发实验。加入执行框架（Harness）后，较弱模型的成功次数从 3/10 升至 10/10。较强模型在两种设置下均为 10/10，加入框架后却消耗约 10.5 倍 token、7 倍费用。同一套流程在不同模型上呈现出不同的成本与收益。
https://www.martinfowler.com/articles/are-harnesses-worth-the-cost.html
Megatron：大规模训练的确定性成本
NVIDIA 将数据顺序、算子和分布式执行纳入确定性配置。在固定软硬件与并行配置的 2432 卡、800 步实验中，逐位确定性的训练开销约为 2%。它使重复运行能够直接比较数值差异，帮助缩小回归定位范围。
https://developer.nvidia.com/blog/scale-bitwise-deterministic-pretraining-with-nvidia-megatron-core/
简讯
verl 低精度路线图
verl 的 Q4 计划区分两条路径：FakeQuant 用于对齐量化数值，低精度 GEMM 用于加速计算。前者先解决训练与 rollout 的量化规则一致性，后者再处理真实低精度执行。
https://github.com/verl-project/verl/issues/8186
MXFP8 权重导出
Transformer Engine 的开放提案希望同时导出量化值、scale 与布局元数据，供外部推理引擎读取。接口仍在讨论。
https://github.com/NVIDIA/TransformerEngine/issues/3644
Grouped MLP 的对齐检查
Transformer Engine（TE）的融合 MXFP8 Grouped MLP 路径要求每个 expert 的分片满足 256 对齐。2026-10-20 复核时，issue 已因引入 split_alignment 的修改而关闭。融合路径仍需显式选择相应对齐值。
https://github.com/NVIDIA/TransformerEngine/issues/3640
GDN 梯度异常：作者撤回了独立算子归因
原报告怀疑 Ulysses 序列并行（SP）导致 GDN 梯度不一致。作者随后在独立实验中得到至少 0.99998 的梯度余弦相似度，并于 2026-10-10 关闭 issue，撤回了独立算子归因。完整训练栈中的异常原因尚未定位。
https://github.com/verl-project/verl/issues/8178
Adaptive Verification
vLLM 用在线接受概率估计裁剪低收益的草稿后缀，减少目标模型的验证工作。该方法适合验证计算占比较高的大 batch 场景。
https://vllm.ai/blog/2026-10-14-adaptive-verification-online-estimator
ReplaySSM
ReplaySSM 保存递归状态检查点和近期输入，在需要回退时重放计算，从而减少投机解码常驻 HBM 的状态副本。
NeMo Gym 的 EDA 评估
Siemens 用 NeMo Gym 检查电子设计自动化（EDA）Agent 的最终交付文件。根据诊断改进技能和工具说明后，汇总多项检查的综合验证评分从约 55% 升至 95%，交互轮数从 155 降至 53。该评分与任务成功率采用不同的统计口径。