AI 技术周报

2026-10-18

本期重点：弹性训练的数据顺序、Agent 会话缓存、变长 Attention，以及更简洁的 Agent 训练与执行。

重点

Zephon 将样本划分到固定的逻辑 lane，再把 lane 分配给 GPU rank。扩缩容时重新分配执行者，全局样本顺序保持不变。1B 模型在 16 卡训练至第 150 步后，分别用 8、32、64 卡恢复，每步全局 batch 的 SHA-256 均与基线一致。

固定数据流后，可以调整数据处理并行度，同时保留可对照的样本顺序。比较两次训练时，也能先排除样本打乱、序列打包和数据混合顺序的变化，再检查计算过程。

Dynamo 用稳定的会话标识（session ID）连接多次模型调用及其子任务，让路由器看到跨轮复用的键值缓存（KV Cache）。工具执行期间，缓存仍占显存。会话信息因此也用于准入和工作集管理。

这套接口把应用的任务进度传给推理系统。共享缓存索引仍属实验功能，程序化 KV 策略接口仍在提议中。

TLX 的 Jagged FlashAttention 直接处理连续打包的序列与偏移量（offsets），省去填充 token。Meta 在 B200、BF16、GEM 相关变长形状上，对比作者实验指定的 FA4 基线版本，报告前向约快 13%、反向约快 50%。

TLX 提供更直接的硬件调度控制，使开发者能够调整数据搬运和计算流水线。

Apple 在相同基础模型和时间预算下比较自动机器学习（ML）工程系统。在所测 MLE 基准上，复杂执行框架（Harness）没有优于只提供读、写、命令执行的简单编码 Agent。

RLTL;DR 让模型读取失败尝试的验证器（verifier）输出，写下一条简短心得，再带着累积心得重试。训练同时让模型学习根据任务生成心得。

在筛选为 Pass@128=0 的工具调用和编码任务上，Qwen3.5-9B 的 GRPO 对照 Pass@1 为 0%–1%。RLTL;DR 在评测时不提供心得，仍达到 12%–13%，表明训练得到的改进可以在没有心得上下文时保留。

SSR 将常见推理写成可复用候选，再用模型似然并行评分。2B、4B 模型在七个多模态搜索基准上，单题模型推理延迟减少 28%–54%，计时不包含外部工具耗时。

Apple 用四台 M5 Ultra Mac Studio、远程直接内存访问（RDMA）与张量并行运行 NVFP4 Muse Spark Open。在 8192 token 上下文、生成 128 token 的设置下，解码速度为 36.73 token/s。

IBM 的 PyTorch 后端分别处理设备分配、stream 等运行时能力，以及 Inductor 图的编译与片上存储调度。这让设备接口与算子映射能够独立演进。

ExecuTorch 通过 CMSIS-NN 加速 Cortex-M CPU。在 Alif E8 的单个 Cortex-M55 核上，四个 MLPerf Tiny 模型均在 21.5 ms 内完成推理，RAM 用量低于 90 KiB。