AI 技术周报
2026-10-25 至 2026-11-01，几项进展让“局部优化能否改善整个系统”有了更具体的答案：减少搬运仍可能增加等待，降低精度需要检查误差怎样传播，任务返回成功也需要结果证据。新增材料把这些判断落实到资源争用、数值计算和跨进程状态交接。
搬得更少之外，还要算多等了几轮
2026-10-28 日报介绍了 TMA：它用整块搬运请求替代线程逐条发出加载指令，减少地址计算与指令开销。但在作者测试的 H100 Attention Decode 负载中，两种路径搬运相同的数据，HBM 带宽已经接近饱和，减少指令没有明显缩短耗时。问题由“搬运接口是否高效”推进到“省下的工作是否正在限制执行”。
另一项 Hopper 研究补上了调度条件。多个线程块组成 cluster 后可以共享数据，但必须成组占用硬件资源。作者在四张 H100 SXM5 上测得，较大的分组只能同时使用 120 个 SM，较小分组可以使用 132 个。当每个 SM 只能容纳一个线程块时，同样 256 个块便可能从两轮执行变成三轮。减少重复加载的收益，要先抵消多一轮等待。
TIDE 则把同一问题带到分布式训练：通信与计算同时运行，会争用 SM、寄存器和共享内存。其分析显示，通信线程块可能挤走矩阵乘法原本能一轮完成的工作，使它进入下一轮。TIDE 将数据传输主要交给复制引擎、RDMA 和 NVSwitch，并让参数直接到达各参数的显存位置，减少通信前后的重排。
相比 2026-10-31 日报，这组材料增加了一条共同解释：性能模型除了字节数，还要计入资源占用改变后增加的执行轮数。TIDE 的实现仍计划在正式发表时公开；现阶段可以借鉴原型的测量方法，把搬运、重排与并发计算一起计时。
https://arxiv.org/html/2610.34907v1
https://arxiv.org/html/2610.37466v1
https://arxiv.org/html/2610.38228v1
RL 两端的一致性，要按计算过程检查
2026-10-27 日报已说明，相同 BF16 权重仍可能得到不同的 token 概率：分开执行的算子先舍入中间值，融合算子则可能保留 FP32 到最后。Rounding-Location Alignment 在所测数学 RL 训练中，只调整部分中间值的舍入位置，就避免了默认对照的崩溃，同时保留其他数值差异。
MXFP8 RL 的新证据把问题推进到量化规则。训练端使用分块缩放的八位格式时，采样端改用相同规则，比继续使用 BF16 更接近训练端的概率。作者固定权重、提示词和训练端配方，在同一个采样引擎中比较，排除了学习过程中权重变化的干扰。但切换同时改变了权重、激活量化和矩阵内核，不能把改善单独归因于权重格式。
两篇工作支持的综合判断是：单端计算更精确，与两端表示同一策略，是两个不同目标。舍入位置对齐可以在仍有误差时恢复稳定；量化规则匹配可以缩小误差，却不等于实现完全一致。评估 RL 数值方案，需要分别测量固定权重下的概率差异和实际训练过程，不能用其中一个替代另一个。
https://arxiv.org/pdf/2610.32951
https://arxiv.org/html/2610.34915v1
随机舍入：每个元素无偏，整体仍可能学坏
低精度训练中，小梯度可能反复被舍入成零。随机舍入按数值到相邻表示值的距离决定向上或向下取整，让小更新在多次计算中仍能保留下来。但每个元素都生成随机数，会占用加速器的向量计算单元，抵消低精度矩阵乘法省下的时间。
2026-10-27 提交的 S3R 让同一 token 的多个通道共享随机阈值，减少随机数生成。每个元素多次舍入后的平均误差仍为零，误差却不再独立：共享阈值会让一组误差一起偏移。论文将主要损害追踪到传向前面网络层的激活梯度；只修正当前层的权重梯度，不能消除已经传出去的偏移。
S3R-EC 在误差产生处减去这部分共同偏移。在 12 层模型、C4 数据和 2000 步预训练的实验中，它恢复了独立随机舍入的验证损失水平。另在 TPU v5p 的三个稠密模型完整训练步测试中，相对 BF16 的加速为 1.24–1.32 倍；这组计时包含前向、反向和 AdamW 更新。
这为此前日报讨论的误差追踪增加了具体案例：判断量化是否可靠，除了检查单个元素的误差和均值，还要检查哪些误差一起变化，以及它们在哪一步被累加和传播。减少随机数的系统优化，必须和这一传播结构一起设计。
https://arxiv.org/html/2610.36587v1
Agent 核验：先找到证据，再决定能下多强的结论
VeriCUA 与 SmoothScore 分别面对电脑操作和研究报告，却揭示了同一个缺口：执行记录或局部引用，都可能不足以证明最终结论。
VeriCUA 在操作结束后先探索环境，将用户要求拆成可检查的条件，再针对未确认的条件读取界面、文件或数据库。点击保存只能证明尝试过保存，读取最终文件才可能证明内容已经持久化。离线核验只能使用留存记录；没有记录到的结果，不能靠执行者的完成声明补齐。
SmoothScore 检查另一种越界：引用确实支持某个局部事实，报告却将它推广成更强的综合结论。它同时寻找支持、限制和反驳材料，按同一问题的不同方面比较，再判断结论的强度与范围是否合适。截至核验时，仓库仍标注代码和数据待发布。
相比两篇日报的单独介绍，可以把核验分成相接的两步：先主动取得能回答问题的证据，再约束证据允许的结论。前一步解决“结果有没有发生”，后一步解决“能够推广到哪里”。增加检查次数只有在带来新证据或覆盖新条件时，才补上了原来的缺口。
https://arxiv.org/html/2610.40578v1
https://arxiv.org/html/2610.35793v1
KV 隔离：拒绝请求和回收页面要分别证明
Cloudflare 与 SGLang 在 2026-10-26 联合披露的事件，发生于更早的部署。负责输入处理的 Prefill 端遇到容量不足的输入后使用占位内容，负责生成的 Decode 端却仍按原长度预留页面。请求交接没有保留失败含义，生成阶段便可能读取未被当前请求覆盖的旧数据。
复盘还讨论了另一类页面生命周期问题：请求中止后，已经发出的远端写入可能继续执行。若页面立即分给新请求，旧请求的数据就会覆盖新请求的内容。延迟回收需要等待各发送方确认写入已经结束；收到中止通知，只证明对方知道要停，并不证明已经停下。
这比 2026-10-29 日报进一步明确了修复条件：入口拒绝负责阻止无效任务进入，传输结束确认负责阻止页面过早复用。两项检查不能互相替代。SGLang 文档还保留了超时回收条件：只有未完成写入在等待期内确实停止，超时后释放才安全，计时器到期本身不提供这个证据。