AI 技术日报
本期重点：GPU 重复显存如何共享，以及分布式推理怎样同时管理缓存复用与请求优先级。
重点
gKSM：共享物理显存，保留各实例的地址空间
同一张 GPU 上的多个推理实例，可能各自保存相同权重。2026-10-18 的 gKSM 论文把去重放到驱动层：GPU 计算已驻留页面的哈希，CPU 管理共享关系，内容完全一致后才把不同虚拟地址映射到同一份物理页。加载权重时，它还在 CPU 到 GPU 的复制路径中检查重复，省去已经存在的权重传输。
共享页设为只读。某个实例首次写入时，内核报告缺页事件，用户态通过 CUDA 虚拟内存管理（VMM）复制页面并重新映射，使该实例获得可写的私有副本。这让不同推理框架也能共享重复内容，同时保留各自的运行状态。
在四张 A100 80 GB、每卡四个 BF16 实例、最大上下文 4096 token 的 ShareGPT 实验中，负载包含同源模型变体与跨框架部署。按模型家族放置实例的 gKSM 相对 ServerlessLLM 将平均每卡显存用量减少 59.8%。请求负载升高后，吞吐差距收窄，瓶颈转向计算。实验使用作者的驱动层原型。
https://arxiv.org/html/2610.25219v1
llm-d 1.0：缓存亲和性之外，还要控制谁先运行
llm-d 把多个 vLLM、SGLang 实例组织成 Kubernetes 推理服务池。路由器记录各副本持有的缓存前缀，结合负载与预测延迟选择下一次请求的去向。KV Cache 还能按所用后端卸载到主机内存及存储层，减少多轮任务反复计算长前缀。
2026-10-20 发布的 1.0 将优先级、公平性和过载准入纳入同一套流量控制。交互请求与突发的后台任务共享集群时，系统可以排队或丢弃低优先级负载。异步处理器从外部队列取任务，并通过容量检查和配额利用空闲资源。缓存复用解决重复计算，流量控制则处理不同任务争用同一份算力的问题。
升级也需要跨阶段协调。DisaggregatedSet 把 Prefill 与 Decode 副本作为一个逻辑单元管理，协调版本与就绪状态。1.0 已包含这条升级路径；发布跟踪中，请求故障转移与迁移仍未完成。
https://github.com/llm-d/llm-d/releases/tag/v1.0.0
https://github.com/llm-d/llm-d/issues/2619
简讯
FlexShard：让分片边界服从优化器与量化块
TorchTitan 于 2026-10-21 发布的技术总结介绍了 FlexShard：参数可以按分组（bucket）采用不同分片策略。Owned 让一个 rank 持有完整参数，BlockShard 按二维分块（tile）对齐切分。两种策略用于分布式 Muon，省去更新前的参数 All-Gather；对块量化权重，分片与量化块对齐，还能避免为缩放因子（scale）额外发起集合通信。
https://pytorch.org/blog/torchtitan-update-new-sota-models-performance-at-scale-titanrl/
Deep Agents：检索工具先返回路径，再按需读内容
LangChain 2026-10-23 的文章把检索拆成定位、落盘与筛选：先用文件名或关键词缩小范围，大结果写入文件，主 Agent 只收到路径和预览，再由子 Agent 读取并返回相关事实与来源。这个设计把无关资料留在独立上下文中，也让后续任务能重读原文。
https://www.langchain.com/blog/context-engineering-starts-with-retrieval
Prometheus：把备用 GPU 放进机架容量预算
Meta 2026-10-19 介绍的 Prometheus 集群，将每个 NVL72 域中的 64 张 GPU 用于训练，其余八张作为机架内备用。GPU 故障后可用备用资源重启并从 checkpoint 恢复，减少等待硬件维修的时间。整架故障另由备用机架应对。更大的高速互连域扩大了故障影响范围，物理容量规划也要为恢复预留资源。
定量 RAG 评测：让标准答案来自实验记录
一项钙钛矿文献问答研究，从 45,441 条器件记录生成 755 道查询题，标准答案由数据库计算。题目覆盖单篇查值、跨论文计数、极值和中位数，并按题型检查数值容差及必要引用。研究用同一模型比较文本检索与结构化 SQL 访问，把“找到相关段落”与“取得聚合所需的完整记录”分开检验。
https://arxiv.org/pdf/2610.25575
IKEv2：减少密钥交换轮次，也减少丢包重试机会
2026-10-19 的 IPsec 论文在 strongSwan 原型中，将经典与后量子密钥材料放入一次复合协商，把相应 IKEv2 密钥交换从三轮减为两轮。控制消息经 TCP 传输，由传输层恢复丢失片段，ESP 数据仍走 UDP。它同时调整协议轮次与重传层级，减少较大后量子载荷触发的 IKEv2 消息级重试。复合交换方案仍基于草案。
https://arxiv.org/html/2610.25799v1
经典回顾
参数服务器：把同步等待与收敛放在一起看
OSDI 14 的参数服务器论文将共享参数分片交给参数节点（server），计算节点（worker）保存本地数据，推送梯度并拉取所需参数。按键范围通信可以只传当前工作集，减少稀疏访问中的传输。它用任务依赖控制一致性，允许计算节点在一定延迟内使用旧参数继续工作。等待减少后，系统利用率可以提高，算法收敛也可能变慢。允许参数落后几步时，应比较每步吞吐，还是达到同一目标所需的总时间？
https://www.usenix.org/conference/osdi14/technical-sessions/presentation/li_mu